Что такое kinect: Kinect: что это такое? | DeviceBox.ru

жизнь до и после смерти — Офтоп на vc.ru

Достижения и история контроллеров движения Microsoft от DTF.

40 368 просмотров

Kinect мёртв. Microsoft больше не верит в устройство, с прошлого года компания перестал его выпускать, а с января сняла с производства адаптеры для Xbox One S и Xbox One X. А ведь когда-то из него пытались сделать конкурента Wii Remote. В первые месяцы после выхода контроллер движения даже бил рекорды продаж.

И хотя в игровой индустрии у Kinect нет будущего, он всё ещё полезен в других сферах, да и его технологию продолжают использовать отдельно. Сейчас в устройство продолжают верить по меньшей мере учёные, бизнесмены, врачи и организаторы выставок.

Обречённый на провал

Питер Молиньё признаётся, что Kinect был обречён с самого начала

Первый намёк на контроллер движения для Xbox 360 появился ещё в 2007 году. На конференции D5 в совместном интервью со Стивом Джобсом Билл Гейтс говорит об управлении играми с помощью камеры.

Что вскоре достаточно будет взять бейсбольную биту и взмахнуть ей перед специальной камерой, чтобы спортсмен повторил действие в виртуальном мире.

В следующем году в прессе появляются первые слухи о новом устройстве Microsoft. Инсайдеры сообщают, что компания работает над своим контроллером движения и собирается составить конкуренцию Nintendo Wii. В следующем обновлении дашборда Xbox 360 журналисты находят элементы интерфейса, адаптированные под новое устройство управления.

Слухи продолжили распространяться вплоть до E3 2009, где на своей конференции Microsoft представила сенсор Project Natal. Его возможности продемонстрировали на примере программы для рисования и технодемке Ricochet, в которой нужно отбивать мячи руками и ногами. Последняя позднее послужит основой для полноценной игры Kinect Adventures.

Устройство не нуждалось в дополнительных контроллерах. Оно отслеживало движения человека с помощью инфракрасного проектора и камеры с сенсором глубины, записывало голосовые команды на микрофон.

Проектор светил множеством лучей, а камера рассчитывала расстояние до объектов и их движение. Таким образом жесты и слова управляли персонажем в игре.

Лучше остальных возможности Project Natal тогда отразило демо про мальчика Майло от студии Питера Молиньё. В показанном ролике девушка разговаривала с виртуальным пареньком, изображала, как ловит и надевает очки, брошенные мальчиком, рисовала изображение на бумаге, показывала его перед камерой и оно появлялось в виртуальном мире. Это был своего рода симулятор общения с человеком.

Это настоящая технология будущего. О таком даже в научной фантастике не писали.

Питер Молиньё

Годом позже Молиньё выступил на конференции TED, где с восхищением рассказывал о создании «настоящего человека» в виртуальном мире. После этого о проекте перестают говорить, как будто его и не существовало. Это был первый провал сенсора Microsoft.

На следующей E3 Project Natal получает официальное название — Kinect. Вместе с тем анонсируют новую версию Xbox 360 со специальным портом для контроллера.

4 ноября 2010 года Kinect выходит в Северной Америке. Всего за одиннадцать дней продажи сенсора достигают миллиона штук, а до конца года он продался тиражом в восемь миллионов штук. Kinect становится самым продаваемым игровым аксессуаром всех времён.

Тогда этот успех казался оправданным. К выходу Kinect подготовили ряд игр, которые дарили новый опыт и предлагали развлекаться в компании. Всё же Wii Remote и PS Move — дополнительные контроллеры, которые приходилось брать в руки. А с Kinect тело — контроллер, можно прыгать, танцевать или просто жестикулировать перед экраном.

Такие достижения побудили Майкрософт и дальше продвигать новый сенсор. На волне популярности Kinect рекламировали Опра Уинфри, Джимми Фэллон и Дэвид Бекхэм. Поддержку устройства добавляли в The Elder Scrolls V: Skyrim, Forza Motorsport 4 и Mass Effect 3.

Контроллер Steel Battalion

В 2012 году прозвучал первый тревожный звоночек, вышла худшая игра для сенсора — Steel Battalion: Heavy Armor. Предыдущая часть серии Steel Battalion известна тем, что с помощью эксклюзивного контроллера скрупулёзно симулировала управление огромным шагающим роботом.

В Heavy Armor разработчики попытались тоже самое реализовать с помощью Kinect и геймпада Xbox 360. В итоге подвёл именно Kinect: он с трудом распознавал жесты и голосовые команды. Играть было невозможно.

На фоне других игр для контроллера это был провал. Dance Central учила танцевать, Your Shape: Fitness Evolved помогала тренироваться. Kinect Party отправляла в детство, когда на экране пол вашей комнаты превращался в лаву или пространство заполняли десятки воздушных шаров. В Kinectimals было мило чесать и гладить животных, в Child of Eden ты и вовсе создавал музыку, стреляя по абстрактным фигурам.

К февралю 2013 Microsoft продали 24 миллиона сенсоров Kinect. Для аксессуара это был успех, тем более удалось превзойти конкурентов: всего за три месяца до этого Sony сообщила о 15 миллионах проданных PS Move.

Тогда казалось, что Kinect — теперь неотъемлемая часть Xbox. Майкрософт тоже были тверды в своих намерениях: на презентации своей следующей консоли они представили и новую версию сенсора. Sony же лишь использовала отдельные технологии Move в геймпаде Dualshock 4 для PS4, но решила дальше не продвигать контроллер движения.

С первой проблемой Kinect 2.0 столкнулся уже на старте. Он шёл в комплекте с Xbox One, из-за чего консоль стоила на 100 долларов дороже PS4. Игрокам буквально навязывали устройство, без которого консоль могла спокойно работать. Первое впечатление о консоли было подпорчено.

А ведь Kinect 2.0 был гораздо лучше предшественника. Устройство умело распознавать мимику, сердцебиение и температуру тела, а его камера снимала видео в разрешении 1080p.

Голосовыми командами и жестами можно было управлять Xbox One: открывать приложения, ставить видео на паузу, прибавлять громкость по команде или перемещаться по меню взмахами рук. Поначалу новые функции позволяли почувствовать себя героем фильма «Особое мнение». А войти в комнату и сказать «Xbox On», чтобы включить консоль, было просто забавно.

Новые возможности особенно пригодились в фитнес-тренажерах вроде Xbox Fitness. Когда на экране можно посмотреть, насколько разогреты твои мышцы, это помогает понять, как эффективно ты выполнял упражнения

Сперва и с играми всё было хорошо. Вышли новые Kinect Sports Rivals и Dance Central. Голосовые команды и жесты добавляли в Forza Horizon 2 и D4: Dark Dreams Don’t Die.

Были и оригинальные вещи вроде Fantasia: Music Evolved, которая предлагала выступить в роли музыкального инструмента и исполнять музыку движениями. В Zoo Tycoon игрок руководил зоопарком и ухаживал за животными: кормил слона или мыл жирафа.

Но затем ситуация резко изменилась. Решение продавать Xbox One без Kinect ещё было обоснованным и оно удвоило продажи консоли. А вот дальше было хуже. В 2015 году с обновлением дашборда Xbox One исчезла навигация по меню с помощью сенсора. Microsoft перестала разрабатывать собственные игры для контроллера и больше не заставляла разработчиков добавлять поддержку устройства в свои проекты.

Так в Forza Horizon 3 ещё можно было общаться голосовыми командами с навигатором, а уже в Forza Motorsport 6 никак не использует Kinect.

При этом в Microsoft не перестали поддерживать разработчиков. Дизайнер Fru, одной из последних игр для Kinect, не винит их в случившемся и благодарен за помощь по технической части.

По его словам, он понимает, что это было бизнес решение — забросить Kinect, — но более всего его команде не хватило рекламы со стороны платформодержателя. И хотя Through Games не получили должного продвижения, им удалось сделать одну из самых оригинальных игр для контроллера движения.

Основная фишка Fru — тень игрока из реального мира, которой нужно управлять, чтобы открыть потайные проходы

Чем дальше, тем больше про Kinect забывали. Из выходивших после Fru игр, самые примечательные — серия Just Dance от Ubisoft и Fruit Ninja Kinect 2.

В октябре 2017 года Microsoft сняла Kinect с производства.

В январе 2018 компания прекратила выпускать адаптеры Kinect 2. 0 для Xbox One S и Xbox One X.

Почему устройство так быстро и внезапно перестали поддерживать? На то было несколько причин. Для начала, Kinect требовал свободное пространство для игры, его нельзя было поставить в любую квартиру.

Fruit Ninja Kinect

Хуже всего то, что он был лишь прототипом устройства из будущего. Поначалу возможность управлять жестами и голосом поражала, но вместе с тем она доставляла и раздражение. Контроллер часто не отслеживал жесты, не улавливал голос или плохо регистрировал их. Игроки все же привыкли к точности управления в играх — без неё мастерство зависит от удачи, а не от твоих действий.

Kinect недостаточно точен для контроллера и, как только эффект новизны прошёл, устройство стало бесполезным для рынка. Вместе с этим упал и интерес к инвестициям.

Вдобавок игры для сенсора разрабатывали в основном энтузиасты, крупные студии были просто не заинтересованы подобным. Эксперименты подразумевают риски, а проверенные серии вроде Halo и Gears of War не нуждаются в Kinect.

В конце концов Microsoft оступилась сама, включив Kinect в комплект с Xbox One на обязательной основе. Рост продаж консоли в два раза после исключения сенсора из комплекта и снижения цены лишь сделал ошибку ещё более очевидной. После такого было проще больше не вкладывать деньги в устройство, которое приносит убытки.

Тем не менее Microsoft продолжила использовать технологии Kinect, а сам контроллер до сих пор полезен в других сферах.

Как Kinect использовали

Практически сразу после релиза сенсора стартовало первое состязание среди разработчиков. Компания Adafruit, на тот момент лидеры в производстве открытого аппаратного обеспечения, пообещали тысячу долларов первому, кто напишет свободный драйвер для Kinect.

Всего через шесть дней со старта продаж контроллера движения хакер Hector выполнил эту задачу и получил награду, которую к тому моменту подняли до трёх тысяч долларов.

После написания свободного драйвера для Kinect, устройству нашлось множество необычный применений. С его помощью подчиняли пылесос управлению жестами и превращали ванну в игровую площадку — чисто ради забавы.

Microsoft долго была против разработки любых свободных драйверов для Kinect, но в в итоге сдалась и выпустила официальный SDK. С тех пор сенсор стал доступен не только разработчикам и энтузиастам.

В рекламе

Японский магазин одежды United Arrows оживил манекен в своей витрине с помощью Kinect. Всё просто: сенсор отслеживает движения человека перед витриной, манекен их повторяет. Ритейлер старался таким образом завлечь покупателей или хотя бы оставить положительные впечатления о магазине.

В торговом центре Южной Кореи вендинговый автомат Coca-Cola дарил напитки за победу в игре. Машину оснастили экраном и сенсором Kinect. Проходящих мимо посетителей она завлекала поучаствовать в танцевальном состязании. Повторишь показанные на экране движения — напиток в подарок.

На страже границ страны

Ко Дже Кван

В 2014 году следить за нейтральной зоной между Северной и Южной Кореей поставили Kinect. На основе свободных драйверов устройства программист Ко Дже Кван создал систему для отслеживания нарушителей. Она способна различать людей и животных. Как только сенсор засечёт движение вблизи нейтральной зоны, система сразу оповещает ближайший пост.

Для сканирования экспонатов

В 2017 году сотрудники Филдовского музея естественной истории заменили профессиональное оборудование сенсором Kinect. Так вышло, что специализированные сканеры зубов не смогли захватить огромную челюсть тираннозавра целиком. Тогда работники музея обратились в агентство MIT Media Lab’s Camera Cultur. Представители агенства нашли решение: они создали устройство на основе Kinect и отсканировали челюсть им.

И хотя разрешение сенсора в пять раз меньше, чем сканеров, он стоит в двести раз дешевле. К тому же его точности хватило, чтобы воспроизвести достаточно качественное изображение для изучения отверстий в зубах.

В музыке

Композитор Крис Вик нашёл применение Kinect в качестве музыкального инструмента. С помощью сенсора он играл дабстеп, использовал устройство на сцене в представлениях, заменял им диджейский пульт. А ещё Вик сыграл на массивном органе в ратуше Мельбурна.

Несмотря на возраст инструмента — его сделали в 1929 году — в 90-х орган модифицировали MIDI-контроллером. К нему-то музыкант и подключил сенсор, чтобы исполнить партию в дуэте с певицей Элис Ричардс.

Свои выступления на концертном туре в 2013 году Nine Inch Nails преобразили с помощью Kinect. Сенсоры устанавливали по периметру сцены, чтобы те отслеживали движения музыкантов и передавали их на экраны в дальнем конце сцены. Когда гас свет, оставались только абстрактные силуэты на фоне светомузыки, сопровождаемые тяжёлым индустриальным роком.

Kinect стал стандартом для интерактивных искусств потому, что он доступный. Лучший подарок для человека с творческим видением. Они [Microsoft] могут убить официальный продукт, но я не думаю, что любовь к нему умрёт в мире интерактивных искусств.

Роб Шеридан

Как Kinect продолжают использовать

В торговле

Некоторые магазины одежды приспособили Kinect для виртуальной примерочной. Скажем, девушка подходит к экрану-зеркалу, жестами выбирает платье. Тем временем камера сканирует её, чтобы программа показала, как это платье будет смотреться на покупательнице.

Уже в 2012 году появился первый демонстративный сценарий подобного применения сенсора. Вскоре на основе него Nike создалисвоё интерактивное зеркало. Затем подключились Timberland. А с 2015 года компания FXGear поставляет интерактивные зеркала FXMirror по заказам.

В IKEA придумали, как поднимать настроение своим покупателям с помощью Kinect — они создали «Мотивирующее зеркало». Каждого подошедшего человека камера сканировала, подмечала в нём яркую черту, а зеркало говорило воодушевляющие комплименты: «У вас классная борода!» или «Эта рубашка вам очень идёт!» — в таком духе. При желании устройство можно было заказать себе домой.

Для интерактивных выставок

Kinect не идеально распознаёт движения, но его возможностей хватает, чтобы сделать выставки увлекательными. Особенно для детей и молодёжи. В этом я убедился сам, когда посетил образовательный центр «Познай себя — познай мир» в Дарвиновском музее.

На пятиметровый экран инсталляции «Биосфера» проецировался вид на планеты Земля из космоса. С помощью сенсора можно было крутить планету, приближать материки, запускать ролики и взаимодействовать с животными. Это тот случай, когда вовлечённость в процесс привлекала внимание лучше созерцания со стороны. Я вряд ли бы надолго задержался у стенда, если бы там просто крутили ролики.

Схожим образом Kinect используют в выставках по всему миру. Так в Зале искусств Нью-Йорка создали инсталляцию, которая помогала детям изучать разные экосистемы. Девять проекторов и дюжина сенсоров превратили стены в интерактивное пространство площадью девятьсот квадратных метров.

Как это работает? Ребёнок вытягивает руку перед экраном и там появляется семечко. Стоит опустить руку, как семечко падает в землю и на том месте вырастает растение. И так далее: взаимодействуешь с экосистемами и познаешь окружающий мир.

И таких примеров много.

Инсталляция Treachery of Sanctuary на выставке Barbican’s 2014 Digital Revolution позволяла увидеть своё отражение, как произведение искусства

Проект Les Metamorphoses de Mr Kalia показывал, как живые существа могут изменять структуру своего тела

Бизнес

Подобные инсталляции — отнюдь не единичное решение. Агентства, организующие презентации продуктов и экспозиции, продолжают использовать Kinect в своём бизнесе. Так «Биосферу», о которой я рассказывал выше, создала компания «Аскрин».

Другая российская компания «Дизайн Досье» разрабатываетинтерактивные решения для продвижения товаров и услуг. Среди их недавних работ «Песочница дополненной реальности» на стенде Правительства Москвы форума «Открытые инновации» в 2015 и 2017 годах. У проекта две цели: развлечение для детей, а также — образовательная игра, в которой можно изучить физику песка.

Французский бренд Brother System создаёт интерактивные пространства для развлечения. Среди их проектов — витрина в торговом центре Les Rives de l’Orne и инсталяция на фестивале Beauregard.

Разработкой презентаций и программ с использованием Kinect занимается и международная компания Virtualware. В 2014 году она создала рекламный стенд для туристической выставки. Посетители изображали перед Kinect летящую птицу и перемещались по территории Мексики, а затем исследовали отдельные города и природные регионы.

В медицине

VirtualRehab, другой проект Virtualware, помогает восстанавливать нервно-мышечные расстройства. Программа предназначена для врачей. Они настраивают комплекс индивидуальных упражнений и следят как пациенты их выполняют, чтобы спланировать дальнейшее лечение.

Английские учёные исследуют возможности Kinect для определения дыхательных болезней. Традиционная процедура спирометрии требует дорогого оборудования и обученных работе с ним сотрудников.

На этом фоне аксессуар от игровой консоли выглядит доступным решением. К тому же встроенный в Kinect 2.0 сенсор глубины может строить трёхмерную модель грудной клетки в реальном времени. Этого достаточно для отслеживания её объёма и изгиба в процессе дыхания.

Исследование ведётся с 2016 года. В прошлом году учёные составили отчёт и пришли к выводу, что на данный момент точности сенсора Kinect не хватает. Сейчас они занимаются доработкой устройства.

Kinect до сих пор полезен в операционных. Хирургам для качественной работы необходимо просматривать снимки рентгена и результаты томографии. Переключать их или изменять размер с помощью мыши и клавиатуры нельзя — не гигиенично. А вот с помощью жестов — вполне.

Первые проекты контроллеров на основе Kinect для компьютеров в операционных появились ещё в 2011 году. Последние несколько лет подобные решения предоставляет компания GestSure. По словам их генерального директора, Kinect по-прежнему самая подходящая времяпролётная камера для их нужд и в ближайшее время отказываться от неё они не собираются.

Microsoft больше не производит Kinect, но продолжает использовать его технологии в платформе Windows Mixed Reality. Камера очков HoloLens сканирует окружающее пространство с помощью более совершенных сенсоров того же типа, чтобы дополнить помещение голограммами приложений Windows. Так можно расположить на стене несколько окон со Skype, Microsoft Edge и Forza Horizon 3. Или же не выходя из дома отправиться в путешествие по Риму через HoloTour.

Платформа всё ещё дорабатывается и пока ограничена лишь приложениями Microsoft Store. Но, возможно, в скором времени именно благодаря технологии Kinect дополненная реальность и голографические интерфейсы из фантастики войдут в нашу жизнь.

Azure Kinect DK. Разработка моделей искусственного интеллекта

Создание моделей компьютерного зрения и речи с помощью набора разработчика с продвинутыми датчиками с искусственным интеллектом

Купить

Kinect с пространственными данными

Azure Kinect — это новейший набор разработки пространственных вычислений со сложными моделями компьютерного зрения и речи, передовыми датчиками ИИ, а также набором мощных пакетов SDK, которые можно подключать к службам Azure Cognitive Services.

С помощью Azure Kinect компании производства, розничной торговли, здравоохранения и мультимедиа используют пространственные данные и контекст для повышения операционной безопасности и производительности, улучшения результатов и переосмысления взаимодействия с клиентами.

Открытая экосистема программного обеспечения. Начните работу с разными пакетами SDK, в том числе с пакетом SDK для датчика с открытым кодом, при поддержке активного сообщества GitHub.

Универсальная конструкция. Экспериментируйте с разными режимами и вариантами подключения, в которых используются преимущества компактной конструкции Azure Kinect.

Самые современные пространственные вычисления. Набор Azure Kinect оснащен наиболее совершенными в отрасли датчиками на основе искусственного интеллекта, а также моделями компьютерного зрения и речи.

Интеграция с Azure. Получите неограниченные возможности облака благодаря тесной интеграции с Azure Cognitive Services.

Разрабатывайте более безопасные решения и повысьте уровень взаимодействия с пользователем

Используйте компьютерное зрение для отслеживания движений во время упражнений и общей формы. Создайте интерфейс умного спортзала, который поможет улучшить результаты тренировок, или доступное и эффективное решение для виртуальной реабилитации.

Свяжите данные датчиков глубины, поступающие в реальном времени, с аналитикой на основе искусственного интеллекта. Прогнозные предупреждения помогают предотвращать потенциальные несчастные случаи и травмы пациентов и смягчать их последствия в лечебных учреждениях.

Повышенная безопасность и производительность

Используйте функцию расширенного отслеживания тела для мониторинга и анализа движений и поведения работников. Проектируйте более безопасные и эргономичные рабочие станции, которые помогут снизить риск хронических травм, а также повысить производительность за счет анализа задач и оптимизации процессов.

Объедините данные датчика глубины, работающего в реальном времени, с когнитивными службами для идентификации деталей и обнаружения аномалий в реальном времени на основе ИИ. Следите за работниками сборочной линии, чтобы сразу же выявлять и своевременно устранять проблемы с деталями или процессами.

Новый взгляд на коммуникацию и взаимодействие

Добавьте к интеллектуальным указателям возможности компьютерного зрения и речи. Преобразуйте интеллектуальные указатели в интерактивные персонализированные киоски, которые могут повысить уровень вовлечения в бренд.

Используйте датчики глубины для съемки высококачественного объемного видео, которое будет использоваться в интерактивных трехмерных средах. Используйте трехмерное объемное видео для современного иммерсивного сторителлинга, реализуемого в интерактивных интерфейсах расширенной реальности.

Трансформируйте среду работы и ускорьте внедрение инноваций

Используйте пространственный анализ, чтобы максимально увеличить пространство хранения для транспортных средств и оптимизировать логистику доставки. Перейдите от заранее определенных маршрутов доставки к маршрутам в реальном времени на основе анализа запасов и вытекающего из него показателя эффективности «последней мили».

Создайте подключенный к Интернету интерфейс для розничной торговли с помощью сопоставления и мониторинга розничных магазинов в реальном времени. Получайте ценные сведения о клиентах и создавайте оповещения на основе пространственных данных.

Анализируйте рабочую среду по-новому

Используйте датчики глубины для автоматизации процессов депалетизации и палетизации. Оптимизируйте повторяющиеся задачи, такие как разборка поддонов, для повышения производительности и интеллектуальной оптимизации пространства для хранения.

Сделайте работников-роботов мобильными благодаря пространственным данным. Автоматизируйте новые задачи, внедряя роботов в области, где обычно работают люди, — от комплектации онлайн-заказов и отслеживания товарных запасов до хранения пространственных данных цифровых моделей-близнецов.

Компоненты Azure Kinect DK

1. Датчик глубины разрешением 1 Мп с возможностью выбора широкого или узкого поля зрения, который позволяет оптимизировать ваше приложение
2. Массив из 7 микрофонов, обеспечивающий обнаружение голоса в дальней зоне и захват звука
3. RGB-камера разрешением 12 Мп для дополнительного цветового потока, совмещенного с потоком глубины
4. Акселерометр и гироскоп, обеспечивающие ориентацию датчиков и пространственное отслеживание
5. Внешние синхронные фиксации, обеспечивающие простую синхронизацию потоков датчиков разных устройств Kinect

Создано для разработчиков

Устройство Azure Kinect DK более чем вполовину меньше, чем Kinect для Windows версии 2. При этом мы смогли объединить в нем наши лучшие датчики с искусственным интеллектом.

Инновационные среды

Откройте новые источники дохода и создайте инновационную среду для пользователей с помощью передовых возможностей пространственных вычислений — следующего рубежа взаимодействия человека с машиной.

На платформе Azure

Расширьте свой проект, объединив передовые датчики Azure Kinect, модели зрения и речи с Azure Cognitive Services, Машинное обучение и Azure IoT Edge.

Подробнее о бесплатной учетной записи Azure

Воплощайте свои идеи в жизнь с помощью целого ряда пакетов SDK и интерфейсов API

SDK	Датчик SDK	Пакет SDK для отслеживания данных тела	API службы «Компьютерное зрение»	Пакет SDK для службы «Речь»
Описание	Базовый датчик имеет доступ к камере глубины, камере RGB, акселерометру и гироскопу, калибровке данных устройства и управлению синхронизацией. (Windows, Linux) Подробнее	Определение сегментации экземпляров, а также наблюдаемых и предполагаемых трехмерных сочленений и ориентиров для полностью выраженного и определенного уникальным образом отслеживания нескольких скелетов. (Windows, Linux) Подробнее	Получение доступа к расширенным алгоритмам обработки изображений и возвращения информации, например оптическому распознаванию символов или категоризации изображений. (Azure) Подробнее	Получение доступа к функциям преобразования речи в текст, перевода речи и распознавания намерений. (Azure) Подробнее
Примеры кода	Добавление OCR с помощью Azure Cognitive Services	Измерение точности движения человека (на примере прыжка) благодаря отклику на биомеханику объекта.	Определение визуального контекста сцены	Создание управляемых голосом взаимодействий для Azure Kinect DK

Узнайте, как клиенты развертывают Azure Kinect

Более демократичный домашний фитнес

Tempo использует компьютерное зрение для мониторинга формы и результатов клиента в реальном времени.

Новое измерение в творчестве

Узнайте, как с помощью Azure Kinect DK компания Depthkit создала новый креативный носитель для объемных фильмов.

Возможность для медсестер предотвратить падение пациентов

Ocuvera использует Azure Kinect DK, чтобы прогнозировать вставание с постели без присмотра с точностью более 96 %.

Игровая телереабилитация

Узнайте, почему компания Evolv создала свое решение для телереабилитации с помощью Azure Kinect DK.

Часто задаваемые вопросы об Azure и Kinect DK

• Azure Kinect DK можно приобрести в США, Китае, Германии, Японии и Соединенном Королевстве.

• Устройство Azure Kinect DK оборудовано нашими лучшими датчиками с искусственным интеллектом: времяпролетная камера глубины разрешением 1 Мп, набор из 7 микрофонов, RGB-камера разрешением 12 Мп и гироскоп. Используйте их в сочетании со службами Azure для создания комплексных решений в соответствии со своими потребностями.

• DK означает набор разработчика (Developer Kit). Устройство Azure Kinect DK предназначено в первую очередь для разработчиков и коммерческих предприятий, а не потребителей. Его необходимо использовать при температуре окружающей среды от 10 до 25 градусов Цельсия. Это устройство не является заменой Xbox Kinect.

• Решение Azure Kinect DK было создано, чтобы облегчить разработчикам работу с Azure, но его можно использовать с облачными службами от любых других поставщиков и даже без таких служб.

• Azure Kinect DK не предназначен для использования с Xbox.

• В Azure Kinect DK нет собственных вычислительных ресурсов. Устройство можно связать с любым ПК — от моделей без экранов до классических рабочих станций. Требования к системе: ПК с Windows® 10 или Ubuntu 18.04 LTS, процессор Intel® Core™ i3 7-го поколения (Dual Core с частотой 2,4 ГГц и GPU HD620 или более мощный), порт USB 3.0 и 4 ГБ ОЗУ. Недоступно для Windows 10 в S-режиме. Для отслеживания данных тела и других функций может потребоваться дополнительное аппаратное обеспечение ПК.

Приготовьтесь создавать удивительные вещи с помощью Azure Kinect DK

Купить

Использование камеры Microsoft Kinect 360 в ROS Indigo / Хабр

Добрый день, уважаемые хабрачитатели!

Последние наблюдения и собственный опыт показали, что с подключением камеры Microsoft Kinect Xbox 360 для ее использования в ROS Indigo из под Ubuntu 14.04 часто возникают проблемы. В частности, при запуске ROS пакета openni_launch не удается определить устройство и выдается ошибка «No device connected». В этой статье я опишу свой пошаговый метод настройки окружения для использования Microsoft Kinect из ROS Indigo. Кто заинтересован, прошу под кат!

Камера Microsoft Kinect

Об этом сенсоре уже подробно писали в статье. В двух словах, Microsoft Kinect это 3D (RGB-D, то есть, red, green, blue и depth) камера, основанная на технологии Structured light, которая позволяет получить карту глубины поверхностей объектов, попавших в поле зрения камеры. Карту глубины можно трансформировать в трехмерное «облако» точек, в котором каждая точка имеет точные координаты X, Y и Z в пространстве и в некоторых случаях цвет в формате RGB. «Облака» точек используются в задачах реконструкции объектов, построении карт местности в сервисной робототехнике, распознавании объектов и многих других задачах в области компьютерного зрения в 3D.

ROS предоставляет поддержку для сенсора Kinect. «Облако» точек, получаемое сенсором, можно визуально показать в программе rviz.

Для использования сенсора Kinect в ROS имеется специальные пакеты openni_launch и openni_camera.

Установка драйвера для сенсора Microsoft Kinect

Для начала необходимо установить библиотеку OpenNI, предназаначенную для ряда RGB-D сенсоров (Kinect, ASUS Xtion, PrimeSense).
Установим некоторые дополнительные пакеты, которые OpenNI требует для установки:

sudo apt-get install git build-essential python libusb-1.0-0-dev freeglut3-dev openjdk-7-jdk
sudo apt-get install doxygen graphviz mono-complete

Теперь непосредственно установим OpenNI 1.5.4 из исходников:

git clone https://github.com/OpenNI/OpenNI.git
cd OpenNI
git checkout Unstable-1.5.4.0
cd Platform/Linux/CreateRedist
chmod +x RedistMaker
./RedistMaker

Теперь скачаем библиотеку avin-KinectSensor для сенсора Kinect отсюда.

unzip avin2-SensorKinect-v0. 93-5.1.2.1-0-g15f1975.zip 
cd avin2-SensorKinect-15f1975/Bin

В зависимости от типа системы (32 или 64 бита) выберем соответствующий установочник. Для 32 битной системы выполним следующие шаги:

tar -xjf SensorKinect093-Bin-Linux-x86-v5.1.2.1.tar.bz2
cd Sensor-Bin-Linux-x86-v5.1.2.1

Для 64 битной системы выполним:

tar -xjf SensorKinect093-Bin-Linux-x64-v5.1.2.1.tar.bz2
cd Sensor-Bin-Linux-x64-v5.1.2.1

И наконец выполним установку:

sudo ./install.sh

Установка openni_* пакетов

Последнее что нам нужно сделать — это установить пакеты openni_launch и openni_camera, которые позволяют получать и работать с данными OpenNI-совместимых камер глубины в ROS. Установить эти пакеты очень просто:

sudo apt-get install ros-indigo-openni-camera ros-indigo-openni-launch

Проверка установки драйверов

Теперь все готово! Проверяем успешность установки. Запускаем в разных терминалах:

roscore
roslaunch openni_launch openni.launch depth_registration:=true
rosrun rviz rviz

Установка аргумента depth_registration:=true указывает, что мы хотим включить OpenNI регистрацию и получать XYZRGB данные с камеры (глубину и цвет).

Для начала в rviz развернем секцию Global options в левой колонке Displays и поставим значение /camera_link для поля Fixed frame как на снимке:

Таким образом мы задали необходимую систему координат для корректного отображения данных с камеры Kinect.
В rviz создаем новый дисплей. Для этого нажимаем кнопку Add и выбираем тип дисплея PointCloud2 как на снимке:

Выбираем топик /camera/depth_registered/points для нового дисплея

После этого выбираем для поля Color Transformer значение «RGB8».
Теперь мы увидим подобную картину:

Значение «RGB8» позволяет отобразить цветное «облако точек», где каждая точка имеет координаты X, Y, Z и цвет RGB.

Хочу обратить ваше внимание, что Microsoft Kinect Xbox 360 работает только с USB 2.0. Подключение камеры через USB 3.0 может приводить к ошибке обнаружения устройства, о которой я говорил в самом начале статьи.

На официальном портале ROS есть туториалы по работе с данными RGB-D камер с помощью библиотеки Point Cloud Library. Эти туториалы дают всю необходимую информацию, достаточную для начала работы с «облаками точек».

Желаю вам удачи в использовании RGBD камер в ROS для решения своих задач компьютерного зрения!

Почему Microsoft оставляет самый амбициозный проект Kinect

Почему из поля зрения пропал нашумевший контроллер Kinect и насколько виновата в провале легендарного продукта сама Microsoft? Свою версию происходящего рассказали аналитики Business Insider.

В 2009 году Microsoft впервые представила контроллер Kinect для Xbox 360. Тогда он стал сенсацией. Инфракрасная камера, сенсоры и микрофоны полностью отслеживали положение и движения тела, и за $150 вы получали возможность управлять играми и мультимедиа, используя только голос и жесты.

С тех пор компания продала около 29 миллионов экземпляров Kinect. Успехом назвать это сложно. Некогда инновационный гаджет практически полностью пропадает из поля зрения. Им не интересуются покупатели. Разработчикам он тоже не интересен: за последние два года было выпущено только семь игр, сделанных исключительно под контроллер. Да и сама Microsoft все реже вспоминает о существовании Kinect, переключив внимание на свою новинку — HoloLens.

Что же произошло?

youtube.com

В 2005 году был представлен Xbox 360. Несколько лет дела шли как нельзя лучше и приставка пользовалась большой популярностью. Но как только на рынок вышли Sony PlayStation 3 и Nintendo Wii, конкуренция стала действительно жесткой. Microsoft нужно было тщательно продумать свой следующий шаг и вывести Xbox 360 на лидирующие позиции. Поэтому компания представила Kinect. Этот контроллер интересно выглядел, сулил невероятные ощущения и создавал новую нишу для игр и контента.

xbox-360.co.za

Запуск проводили с большой помпой. Только на маркетинг Microsoft потратила $500 миллионов. Опра Уинфри в своей передаче раздавала Xbox 360 и Kinect, а СМИ подарили новому контроллеру самые лучшие рецензии. За 60 дней Microsoft продает более 8 миллионов Kinect, устанавливая мировой рекорд самого быстро продающегося девайса. Разработчики выстраиваются в очередь, чтобы начать работу над играми для контроллера.

businessinsider.com

Правда, большинство выпущенных игр удостоилось лишь отрицательных отзывов. Из 17 проектов хорошие оценки получила только Dance Central. Но все это было не важно. Поклонники Kinect понимали: технология новая и ей нужно время на развитие. Никто не переживал за контроллер, все только двигали мебель в квартире, чтобы хорошенько поиграть с новым устройством.

film.ru

Проблема первая: недостаток действительно крутых игр

vg-reloaded.com

Проблемы начались тогда, когда и через полгода игр для Kinect не появилось. Фитнес-тренировки и элементарные платформеры не интересовали тех геймеров, которые купили Xbox 360. Microsoft удалось убедить крупнейших разработчиков игр интегрировать поддержку Kinect в самые популярные франшизы, но и это было сделано странно. Например, некоторым игрокам в FIFA 15 «выдавали» красную карточку за то, что они кричали нецензурные слова в микрофон. Результата такая интеграция, понятное дело, не принесла.

Инсайдеры говорят: даже лучшие из лучших разработчиков не хотели интегрировать новый контроллер в свои проекты. Ведь в эти игры уже было вложено много времени и денег. Кроме того, они великолепно работали с традиционными джойстиками. В то же время, начиная с 2010 года, те команды, которые лучше всех создавали инновационные, креативные игры для не-геймеров, сосредоточили свое внимание на iOS и Android. Большой куш, деньги, растущая аудитория — все это было здесь.

Проблема вторая: «85% магии, 15% депрессии»

itvt.com

Kinect также интегрировал управление голосом и жестами прямо в Xbox 360. Можно было поставить фильм на паузу или залогиниться в аккаунт, просто появившись перед камерой. Но, как бы круто это ни звучало, Kinect все еще оставался новой технологией, и все его новые функции сопровождались багами. Магия инновации срабатывала только на 85%, в иных случаях пользователя ждало разочарование.

Геймеры придают огромное значение точности движений — например, воплощению суперкомбо в Street Fighter IV или хэдшоту в Call of Duty. Да и если собираетесь управлять телевизором с помощью голоса, лучше бы системе работать идеально. Иначе вы будете кричать «пауза!» снова и снова.

Проблема третья: нужно больше места

experience-it-all.com

Хуже даже другое: чем дольше люди использовали Kinect, тем больше они находили мест и ситуаций, в которых контроллер плохо функционировал. Чтобы поиграть с Kinect в квартире, нужно было передвинуть мебель. Так сенсор получал необходимое поле для нормальной работы. С другой стороны, можно сидеть на диване в комнате любого размера и играть себе в удовольствие — для этого нужен только джойстик.

Вторая попытка с Xbox One

staticworld. net

Несмотря на все недостатки, Kinect быстро вошел в обиход, по крайней мере, частично, поскольку Microsoft продавала контроллер в комплекте с Xbox 360, которая была очень популярна. Но не все покупали полный набор: в январе 2012 года Microsoft объявила о том, что продали 18 миллионов Kinect и 66 миллионов Xbox 360. Годом позже, в феврале 2013-го, глава отделения Microsoft Xbox Ларри Гриб написал в Twitter, что компания продала 24 миллиона Kinect и более 76 миллионов Xbox 360. Можно предположить, что те контроллеры, которые были проданы, шли в комплекте с консолью.

Когда в ноябре 2013 года была впервые представлена Xbox One, Microsoft сделала шокирующее заявление: новая консоль будет требовать и новой версии Kinect. Это значило, что Xbox One будет стоить $499. К примеру, Sony PlayStation 4 — ближайший конкурент — стоила $399.

За $100 разницы Microsoft пообещала интерактивные игры и телешоу. К тому же можно пользоваться поисковиком от Bing и предустановленным Internet Explorer.

wikimedia.org

Для Microsoft это все было частью долгоиграющего и амбициозного плана по размещению компьютера в гостиной каждого дома. Этого можно было добиться с Kinect — понятный интерфейс, мультимедиа-платформа… все выглядело логично для компании. Но ядро целевой аудитории, геймеры, эту идею сразу возненавидели. Когда Xbox One вышла на рынок в ноябре 2013 года, ее быстро вытеснила PlayStation 4. В трех случаях из четырех покупатели выбирали консоль от Sony.

Финальное отступление

ignimgs.com

В апреле 2014 года была выпущена видеоигра Kinect Sports Rivals для Xbox One. Вместо триумфа дело закончилось низкими продажами и большими потерями, что привело к массовым увольнениям в студии-разработчике Rare. В мае 2014 года Microsoft наконец решила отступить и больше не настаивать на необходимости нового Kinect, согласившись продавать Xbox One за $399, а затем и за $349. Это помогло поднять продажи Xbox One, и разница в продажах с PlayStation 4 сократилась на четверть.

Но это значило, что примерно 5 миллионов владельцев Xbox One, которые купили консоль с контроллером, обзавелись ненужным аксессуаром, который они, в общем-то, и не хотели. В это же время только считанные игры имели интеграцию с Kinect на Xbox One, и совсем единицы получили достойные отзывы.

Новостной сайт Neowin написал в мае 2014 года: «Microsoft — единственные, кого можно обвинять в провале Kinect». В статье также указывалось, что ни одна флагманская игра не вышла для Xbox One, такую игру не выпустила даже Microsoft. Уже прошел год — и это все еще правда.

К тому же Microsoft закрыла телестудию, которую открывали для создания уникального интерактивного контента для Kinect в октябре 2014 года.

Другими словами, Kinect, видимо, отложили в долгий ящик.

Это не конец

animalnewyork.com

Интересно, что художники и инженеры активно используют Kinect в своих проектах. Например, он стал ключевым элементом для создания необычного зеркала — PomPom Mirror.

Если подытожить, то есть 23 миллиона проданных Kinect для Xbox 360 и как минимум 5 миллионов Xbox One с новым сенсором — и так жаль, что Microsoft не смогла превратить это в будущее для видеоигр.

Но хорошо, что хоть где-то они пригодились.

Хроники Kinect. Часть 5: Смерть или новое начало?

---

Хроники Kinect. Часть 1: Рождение Natal

Хроники Kinect. Часть 2: От идеи к производству

Хроники Kinect. Часть 3: Новая философия игр

Хроники Kinect. Часть 4: Взлёт и падение

---

Сага о Kinect подходит к своему логическому завершению, мы проследили его судьбу на Xbox 360 от амбициозного старта, бьющего все рекорды, до бесславного падения и неприятия со стороны основной массы как игроков, так и разработчиков. Хотя в Microsoft всё ещё надеялись вдохнуть в идею бесконтактного контроллера новую жизнь со следующим поколением консолей Xbox [Xbox One], перейдя к более агрессивной политике.

Kinect 2.0

Улучшая Kinect на следующей его итерации Microsoft, приняла ряд очевидных мер: было улучшено распознавание речи, снижена задержка, обновлена технология измерения глубины и так далее, в общем, все те технические улучшения, которые люди могли бы ожидать от нового поколения оборудования.

По сути, Microsoft выпустили значительно улучшенную версию Kinect во всех аспектах качества и надёжности данных, которые вы будете получать с устройства. В отличие от первого поколения Kinect , где нам приходилось прикладывать немало усилий, чтобы справляться с задержкой или белым шумом… многое из этого было исправлено в новом Kinect.

Алекс Ригопулос

Но самым серьёзным изменением было то, как будет продаваться следующий Kinect. Эта периферия должна быть в комплекте с каждым Xbox One, о чём Microsoft объявила на официальной презентации консоли в мае 2013 года. Мало того, Kinect должен был подключаться  к консоли в беспрерывном режиме. Microsoft позиционировала новый Kinect как «неотъемлемую интегрированную» часть Xbox One, заявляя, что «создатели игр и развлечений могут теперь создавать уникальный опыт, предполагающий использование голоса, жестов, чтобы обеспечить естественное восприятие и непревзойдённую простоту использования и интерактивности для игроков».

«Базовая причина включения, обновлённого Kinect в каждый комплект Xbox One, заключалась в том, чтобы мы смогли сказать каждому разработчику: «Да, он доступен абсолютно любому человеку, у которого есть новая консоль, поэтому ваши инвестиции в разработку чего-либо с учётом возможностей Kinect будут оправданы, потому что он уже есть у всех», – объясняет это решение Веласкес.

Свобода выбора

В августе 2013 года, в ответ на негативную реакцию игровой общественности, Microsoft пришлось отказаться от обязательного постоянного подключения Kinect к Xbox One, заверив, что консоль будет работать без него. Но сам сенсор всё ещё оставался в комплекте с каждым Xbox One, выпущенным 22 ноября 2013 года, по цене 499 долларов, чтобы было на 100 долларов дороже, чем Sony PlayStation 4, вышедшая в том же месяце. А в мае 2014 года Microsoft окончательно пришлось отказаться от первоначальной модели распространения, анонсировав скорый выход новой комплектации консоли Xbox One, лишённой Kinect за 399 долларов.

Отчасти такое решение было продиктовано той же самой причиной, по которой Microsoft решила комплектовать каждый Xbox One новым Kinect – это отсутствие достаточной поддержки от разработчиков.

Ирвинг, конечно же, не был тем, кто принял решение разделить Kinect и Xbox One, но он всё же он сформулировал две причины, почему это было необходимо. Первая причина, заключалась в том, что бандл новой консоли с Kinect был чуть ли не самым дорогим предложением на рынке:  «Такая цена была адекватна, если принять во внимание его потенциал. Цена могла стать оправданной и рациональной инвестицией», – уточняет он. «Но когда фактически он не реализован, то вам приходится задавать некоторые критичные вопросы, такие как: Действительно ли включение его [Kinect] в каждый комплект выгодно?».

Вторая причина, которую предлагал Ирвинг, сводилась к тому, чтобы в первую очередь опросить людей, для чего они покупают Xbox One: «Из-за Kinect и игр? Или по другим причинам?.   В итоге так и получилось, некоторые разработчики адаптировали свои игры к Kinect, некоторые – нет. Некоторые покупатели хотели именно новый сенсор, а некоторые – нет», – продолжает Ирвинг. «Какого чёрта, просто дайте разработчикам право самим решать: хотят они работать с Kinect или нет. И предложить геймерам такую же возможность покупать Xbox One с Kinect или без. Со временем, если смотреть со стороны, стало очевидно, что второе продаётся намного лучше, чем первое», – заявил Ирвинг, покидая Microsoft в 2016 году.

«Это было жёстко» – вспоминает Ригопулос. «Мы в Harmonix работали над новой игрой с управлением движением под названием Fantasia: Music Evolved совместно с Disney.

В ней были песни популярных исполнителей, таких как Lady Gaga, Queen и Nicki Minaj. Это был дорогой и амбициозный проект, в который мы вложились, убедив инвесторов, что Kinect идёт в комплекте с каждым Xbox One. Я им не завидую», – продолжал он.  «Это было необходимое и вполне разумное решение, которое должна была принять Microsoft, чтобы приспособиться к рыночной реальности в то время. Но оно же и поставило под вопрос дальнейшую жизнеспособность проекта».

Некоторое время в Harmonix всё же продолжали разрабатывать новые игры для Kinect и после Fantasia: Music Evolved, но в конечном счёте компания отложила их в долгий ящик, пока не было реального подтверждения того, что пользовательская база Kinect на Xbox One действительно достаточно велика, «которая на самом деле никогда по-настоящему не существовала».

Смерть Kinect…

К E3 2015 Microsoft уже не упоминала Kinect, а в 2017 году от завода производителя сенсоров стало известно, что Microsoft останавливает производство Kinect для Xbox One, а его продажа в розничных магазинах будет полностью прекращена, после того как они распродадут остатки.

Новые версии консолей Microsoft – Xbox One S и Xbox One X уже изначально спроектированы без выделенных портов для Kinect. В первое время компания выдала оставшимся пользователям специальные USB-адаптеры, но и их выпуск был прекращён к началу 2018 года.

В общем, относительно игровой индустрии, Kinect был мёртв.

…или новое начало?

Наши герои из третей части: Дрю Скиллман и Патрик Хакетт, бывшие сотрудники Double Fine, сейчас работают в Google. Вместе они создали Tilt Brush, VR приложение для рисования в масштабе всего помещения. Когда Хакетт узнал о том, что Microsoft прекращает производство Kinect, что сразу же пошёл в ближайший магазин электроники, купил ещё один Kinect и повторно прошёл Double Fine Kinect Party. Он также тепло рассказывал, что до сих пор играет в него со своими детьми. Для Скиллмана Kinect также занимает особое место в его сердце. «Это так забавно, по крайней мере, для нас двоих. Я смотрю на свои записи с Kinect и понимаю, что именно они, по сути, сформировал всю мою карьеру», – говорит он.

Что касается остальных действующих лиц нашей истории, то Кристи Фишер сейчас тоже работает в Google, Ричард Веласкес в Amazon, Ричард Ирвинг временно работал в Hulu, а сейчас занят неким не объявленным инновационным проектом, который включает «создателей Xbox Live, Kinect для Xbox 360 и Hulu Live TV». Джо Бертолами ушёл в Snap Inc., компания, создавшая Snapchat; Алекс Ригопулос по-прежнему является генеральным директором Harmonix; Тим Шефер по-прежнему возглавляет Double Fine, которую Microsoft приобрела в прошлом году; и, наконец, Брайан Мерфи стал соучредителем студии Drifter Entertainment ориентирующейся на VR и AR-проекты. Они, как и многие другие люди, опрошенные для создания этой истории, практически единогласно отмечают революционное влияние Kinect, которое он оказал на индустрию.

Да, это было необходимо, чтобы был кто-то, кто прошёл этот путь первым и мы смог усвоить все эти уроки.

Дрю Скиллман

Пускай Kinect не взлетел так, как этого ожидали Microsoft и другие, но с другой стороны игры виртуальной реальности вобрали в себя управление движением. По мнению Ригопулоса, VR стал следующим шагом, который смог воплотить обещания Kinect: «С Kinect вы всё ещё были ограничены экраном телевизора, который был маленьким окном в мир игры. Красота виртуальной реальности в том, что теперь ты сам в этом мире. Я смотрю на Kinect, как на необходимый технологический шаг вперёд, небольшой скачок в эволюции гейминга, который позволил многого добиться несмотря на все недостатки. Я думаю, что плоды этого скачка на самом деле помогли проложить путь к VR».

Amazon продала более 100 миллионов устройств с голосовым помощником Alexa, которые используют для регистрации пользовательских команд алгоритмы распознавание голоса, аналогичные тем, что были в Kinect. Новые айфоны теперь оснащены фронтальной камерой, которая использует технологию измерения глубины в сканировании лица пользователя, для системы идентификации, чтобы посторонние люди не могли получить доступ к вашим данным. Kinect был первым массовым серийным устройством для простых потребителей с камерой с сенсорами глубины пространства.

Некоторые до сих пор использую Kinect в своей профессиональной деятельности, но она это уже никак не связано с играми. «После Microsoft я работал в компании под названием OTOY», – говорит Бертолами. «OTOY очень хорошо разбирается в технологиях камер, искусственном интеллекте и рендеринге. В какой-то момент мы использовали Kinect, потому что мы знали, что он даст нам гораздо лучшую реконструкцию движений актёров, в отличие от собственных продуктов OTOY, которые они разрабатывали в тот момент… Даже сейчас Kinect – это один из наименее затратных способов сделать подобное, если его уровень качества приемлем для вас».

В некоторых больницах США Kinect использовался для восстановления больных, перенёсших инсульт, для перевода языка жестов, в NASA для управления роботизированной рукой, в демилитаризованной зоне между Северной и Южной Кореей для наблюдения за объектами, пересекающими границу. Да, он умер для игровой индустрии, но Kinect продолжает жить в других областях. В феврале 2019 года Microsoft даже анонсировала новый Kinect без игровой функциональности — Azure Kinect, который представлял собой комплект периферийных устройств и средств разработки и компьютерного моделирования для ПК.

Ричард Ирвинг

Самая сильная сторона Kinect заключается в том, чтобы вы, мои друзья и вся индустрия действительно и всерьёз стали думать об альтернативах игрового опыта как на консолях, так и на других устройствах. В конце концов, это была действительно уникальная история того, как много разных разрозненных частей Microsoft, никак не занятые в игровой индустрии, собрались вместе, чтобы создать действительно крутую революционную вещь.

Дрю Скиллман

Практически всё, что мы делаем, исходит из нашего опыта или, как минимум из того, что вы когда-то видели. Но в случае с Kinect не было никаких предшествующих готовых образцов техники, от которых можно было оттолкнуться.

Патрик Хакетт

Оно было странное и новое.

На этом всё. Благодарим всех, кто прочитал всю историю Kinect. начиная с первой части и до этого момента. Надеемся, что вам было также интересно, как и нам. «Хроники Kinect» составлены на базе статьи Polygon и других источников. История Kinect показала, как важно идти на риск в поиске новых технологий. Возможно, в конкретном историческом моменте, та компания, что возьмёт его на себя, может проиграть, но в исторической перспективе индустрия в целом, как и все мы, только выиграем.

---

Следите за скидками и новостями Xbox через наш Телеграм канал и группу Вконтакте

Kinect требует 2-2,5 м

Много раз читатели спорили в комментариях насчет того, каких размеров комната понадобится игрокам для нормальной работы Kinect. Теперь у нас есть официальная информация из руководства пользователя Kinect, опубликованного на VG247.

Много раз читатели спорили в комментариях насчет того, каких размеров комната понадобится игрокам для нормальной работы Kinect. Теперь у нас есть официальная информация из руководства пользователя Kinect, опубликованного на VG247.

«Сенсор сможет видеть вас на расстоянии примерно 6 футов (2 м), — гласит мануал. — Для двух игроков вам необходимо обеспечить расстояние около 8 футов (2,5 м)».

«Для обеспечения оптимального игрового расстояния и работы сенсора поместите его на высоте от 2 до 6 футов (0,6 — 2 м), ближе к одному из предельных значений».

Для установки Kinect на телевизор необходимо использовать подставку, которая докупается отдельно. На Xbox 360 сенсор устанавливать не рекомендуется.

Следующая информация сообщалась и ранее, однако мы повторим: «В Xbox 360 S питание Kinect обеспечивается консолью. Для оригинальных моделей Xbox 360 вам необходимо подключать Kinect к стандартной розетке».

В комплекте покупатели найдут диск с программным обеспечением, необходимым для работы — вероятно, речь идет о грядущем обновлении dashboard.

В разделе troubleshooting говорится о том, что если камера не видит вас, можно попробовать лучше осветить комнату, переодеться в другую одежду, контрастного с окружением цвета. Нельзя, чтобы на сенсор попадал солнечный свет, можно протереть линзу тряпочкой. Также необходимо убедиться в том, что Kinect находится в хорошо вентилируемом месте.

Запуск Kinect ожидается 4 ноября.

2010-10-05 18:15:00

Редакция

PlayStation 3 HDD Recorder Pack 320GB для Японии

Call of Duty: Black Ops с поддержкой 3D для всех версий

Новости

Публикации

Во что поиграть в октябре: Scorn, A Plague Tale 2, Bayonetta 3, Persona 5, Victoria 3

Итоги

03 октября 11:20

7

Ожидалось, что октябрь окажется богатым на релизы, но не настолько же!. Жанровое разнообразие зашкаливает: боевики, тактики, глобальные стратегии, ролевые игры и даже слэшеры. В 2022 году ещё не было ни одного месяца, который был бы столь насыщен.

Во что поиграть на смартфоне. Lost Light, Tank Company, Wild Arena Survivors, Railbound, Iron Marines Invasion

Итоги

30 сентября 21:28

2

В этом выпуске: китайские разработчики выпустили «свои» Escape from Tarkov и World of Tanks, французские — Fortnite, уругвайские — StarCraft. Польские разработчики были оригинальнее и создали головоломку для всех возрастов. Кроме того, в Genshin Impact 3.1 площадь Сумеру увеличилась, в Tower of Fantasy 2.0 появится киберпанк-сити, а Ubisoft показала новые мобильные игры.

Ограбление по-французски.

Должны ли игры Ubisoft стоить $70 Статьи

29 сентября 20:22

9

Объявление о важном изменении в ценовой политике французской компании тонкой нитью прошло через новостные порталы и в этот же день о нём забыли. Издатель не акцентировал на этом внимание на сентябрьском Ubisoft Forward 2022 и, похоже, старался, чтобы о подорожании узнало как можно меньше игроков. Это наглый грабёж, но стоит ли из-за этого переживать?

Геншин идет по грибы. Обзор Genshin Impact 3.0

Обзоры

28 сентября 13:41

6

Genshin Impact — революционная игра, а HoYoverse впору сравнивать со старой Blizzard, определившей пути развития игровой индустрии. Обновление 3.0 включает в себя новый регион, новые игровые механики. Genshin Impact на вершине могущества — это самая популярная приключенческая игра в мире. Но при знакомстве с обновлением возникала мысль: «А все ли хорошо в волшебном мире Тейвата?». Увы, проблемы есть.

Ходячий город. Обзор The Wandering Village [ранняя версия]

Обзоры

27 сентября 21:24

3

The Wandering Village – это милая игра от Stray Fawn Studio, инди-команды из Швейцарии. В ней вы заботитесь о группе беженцев, которые поселились на спине массивного шестилапого динозавра. Для этого нужно собирать ресурсы, приглядывать за своим транспортом и готовиться к превратностям судьбы.

404: Страница не найдена

Страница, которую вы пытались открыть по этому адресу, похоже, не существует. Обычно это результат плохой или устаревшей ссылки. Мы приносим свои извинения за доставленные неудобства.

Что я могу сделать сейчас?

Если вы впервые посещаете TechTarget, добро пожаловать! Извините за обстоятельства, при которых мы встречаемся. Вот куда вы можете пойти отсюда:

Поиск

• Узнайте последние новости.
• Наша домашняя страница содержит самую свежую информацию об информационных технологиях здравоохранения и электронном здравоохранении.
• Наша страница «О нас» содержит дополнительную информацию о сайте SearchHealthIT, на котором вы находитесь.
• Если вам нужно, свяжитесь с нами, мы будем рады услышать от вас.

Просмотр по категории

ПоискCIO

• Испытательные стенды, рабочая сила имеет решающее значение для технологического лидерства США

  Закон о чипах и науке позволяет США инвестировать в критически важные технологии, такие как квантовые вычисления и искусственные . ..

• Подготовьте экономическое обоснование расходов на технологии на основе роли ИТ и ИТ-директора.

  ИТ-директора должны помочь оценить цели управления для поддержки долгосрочной стратегии. Узнайте, как ИТ может помочь бизнес-целям и обосновать…

• Эксперты выделяют методы доверия и безопасности для метавселенной

  По мнению экспертов, создание безопасной метавселенной означает объединение всех заинтересованных сторон.

SearchCloudComputing

• Как сократить расходы на Azure с помощью автоматизации

  Один из способов для клиентов Azure сократить свои расходы — убедиться, что виртуальные машины, развернутые в облаке, не работают, когда они не …

• Как настроить оповещения о бюджете Azure Оповещения о бюджете Azure

  можно настроить в соответствии с вашими конкретными потребностями с помощью настраиваемых уведомлений по электронной почте о финансовых бюджетах. …

• Внедрите эти 6 рекомендаций по оптимизации затрат Azure.

  Администраторы облачных вычислений могут оптимизировать расходы на Azure, чтобы оставаться в пределах … 9 от тегов ресурсов до бессерверных развертываний.0003

SearchMobileComputing

• Вопросы и ответы Jamf: как упрощенная регистрация BYOD помогает ИТ-специалистам и пользователям

  Руководители Jamf на JNUC 2022 делятся своим видением будущего с упрощенной регистрацией BYOD и ролью iPhone в …

• Jamf приобретет ZecOps для повышения безопасности iOS

  Jamf заплатит нераскрытую сумму за ZecOps, который регистрирует активность на устройствах iOS для выявления потенциальных атак. Компании ожидают …

• Apple преследует растущий премиальный рынок с iPhone 14

  Apple переключила свое внимание на смартфоны премиум-класса в новейшей линейке iPhone 14 с такими функциями, как режим блокировки, который IT . ..

ПоискБезопасность

• Периодические атаки с шифрованием: кто в опасности?

  Аналитики угроз обнаружили, что некоторые банды вымогателей используют новую технику, которая лишь частично шифрует файлы жертв, что …

• Microsoft Exchange Server атакован уязвимостями нулевого дня

  Microsoft предупредила, что две неисправленные уязвимости нулевого дня используются в Exchange Server, проблема, которая …

• Кампания вредоносного ПО Cobalt Strike нацелена на ищущих работу

  Исследователи Cisco Talos зафиксировали новую волну фишинговых атак, нацеленных на соискателей в США и Новой Зеландии, заразивших …

ПоискХранилище

• Спот от NetApp exec о поглощениях и сокращении каталога

  В этом вопросе и ответе Кевин МакГрат из Spot by NetApp рассказывает о будущем Fylamynt, развитии партнерских отношений с гиперскейлерами и о том, как . ..

• Государственная налоговая служба отказывается от медленного резервного копирования жесткого диска в пользу более быстрой флэш-памяти

  Департамент доходов штата Миссисипи выбрал хранилище all-flash и конфигурацию резервного копирования, чтобы максимизировать производительность приложений и минимизировать …

• 4 устройства NAS для предприятий в 2023 г.

  Если вы рассматриваете устройство NAS для своей организации, узнайте факторы, которые необходимо оценить, и некоторые предложения поставщиков, которые можно добавить к …

Azure Kinect DK — разработка моделей ИИ

Создание смешанной реальности с использованием датчиков ИИ

Купи сейчас

Kinect с пространственными данными

Azure Kinect — это передовой комплект разработчика пространственных вычислений со сложными моделями компьютерного зрения и речи, усовершенствованными датчиками искусственного интеллекта и рядом мощных пакетов SDK, которые можно подключить к когнитивным службам Azure.

Используя Azure Kinect, производственные, розничные, медицинские и медийные предприятия используют пространственные данные и контекст для повышения безопасности операций, повышения производительности, улучшения результатов и революционного взаимодействия с клиентами.

Экосистема открытого программного обеспечения: Начните работу с рядом SDK, включая SDK Sensor с открытым исходным кодом и активное сообщество GitHub

Универсальный дизайн: Экспериментируйте с несколькими режимами и вариантами монтажа, которые используют преимущества компактного дизайна Azure Kinect

Передовые технологии пространственных вычислений: Azure Kinect оснащен самыми передовыми в отрасли датчиками искусственного интеллекта, а также моделями зрения и речи

Интеграция с Azure: Используйте безграничную мощь облака благодаря бесшовной интеграции с когнитивными службами Azure

Разработайте более безопасные решения и укрепите взаимодействие

Используйте компьютерное зрение для отслеживания и мониторинга упражнений и общей формы. Создайте умный тренажерный зал, который может улучшить результаты, или доступное и эффективное решение для виртуальной реабилитации.

Соедините данные датчика глубины в реальном времени с информацией, основанной на искусственном интеллекте. Предотвратите и смягчите потенциальные несчастные случаи и травмы пациентов в медицинских учреждениях с помощью предупредительных предупреждений.

Повышение безопасности и производительности

Используйте расширенное отслеживание тела для мониторинга и анализа движений и поведения рабочих. Создавайте более безопасные и эргономичные рабочие места, которые могут снизить долгосрочный риск получения травм и одновременно повысить производительность за счет анализа задач и оптимизации процессов.

Соедините данные датчика глубины в реальном времени с когнитивными сервисами для идентификации деталей на основе ИИ и обнаружения аномалий в реальном времени. Следите за рабочими сборочной линии, чтобы сразу же выявлять проблемы с деталями или процессами для своевременного устранения.

Новое представление об общении и взаимодействии

Добавьте возможности компьютерного зрения и речи в интеллектуальные вывески. Превратите интеллектуальные вывески в интерактивные персонализированные киоски, которые могут повысить вовлеченность бренда.

Используйте измерение глубины для захвата высококачественного объемного видео для использования в интерактивных трехмерных средах. Используйте объемное 3D-видео для передового иммерсивного повествования, доставляемого с помощью интерактивного опыта XR.

Преобразуйте опыт и ускорьте внедрение инноваций

Используйте анализ размеров, чтобы максимизировать пространство для хранения транспортных средств и оптимизировать логистику доставки. Переходите от предварительно определенных маршрутов доставки к маршрутам в реальном времени на основе анализа запасов и последующей эффективности «последней мили».

Создайте сетевую розничную торговлю, отображая и отслеживая розничные магазины в режиме реального времени. Получайте полезную информацию о клиентах и ​​создавайте оповещения, используя пространственные данные.

Получите новое представление об окружающей среде

Используйте измерение глубины для автоматизации процессов депаллетизации и укладки на поддоны. Оптимизируйте повторяющиеся задачи, такие как разборка поддона, чтобы повысить производительность и разумно оптимизировать пространство для хранения.

Мобилизовать рабочих-роботов с помощью пространственных данных. Автоматизируйте новые задачи, вводя роботов в человеческое пространство, от сбора онлайн-заказов и отслеживания запасов на полках до ведения пространственных данных моделей цифровых двойников.

Что внутри Azure Kinect DK

1. 1-мегапиксельный датчик глубины с широким и узким полем зрения (FOV), которые помогут вам оптимизировать для вашего приложения
2. Массив из 7 микрофонов для записи речи и звука в дальней зоне
3. 12-мегапиксельная RGB-видеокамера для дополнительного цветового потока, совмещенного с потоком глубины
4. Акселерометр и гироскоп (IMU) для датчика ориентации и пространственного отслеживания
5. Внешние контакты синхронизации для простой синхронизации потоков датчиков с нескольких устройств Kinect

Создан для разработчиков

Размер Azure Kinect DK вдвое меньше, чем у Kinect для Windows версии 2. Он был разработан, чтобы объединить наши лучшие датчики искусственного интеллекта в одном устройстве.

Innovative Experiences

Раскройте новую ценность для бизнеса и создайте преобразующий опыт работы с клиентами с помощью передовых возможностей пространственных вычислений — следующего рубежа взаимодействия человека и машины.

Powered by Azure

Продвиньте свой проект дальше, объединив передовые датчики Azure Kinect и модели зрения и речи с Azure Cognitive Services, Azure Machine Learning и Azure IoT Edge.

Узнайте больше о бесплатной учетной записи Azure

Воплотите свои идеи в жизнь с помощью ряда SDK и API

SDK	Датчик SDK	SDK для отслеживания тела	API службы компьютерного зрения	Речевой SDK
Описание	Необработанный доступ датчика к камере глубины, камере RGB, акселерометру и гироскопу, а также данные калибровки устройства и управление синхронизацией. (Windows, Linux) Учить больше	Предоставьте сегментацию экземпляра, а также наблюдаемые и предполагаемые трехмерные суставы и ориентиры для полностью артикулированного, уникально идентифицированного отслеживания тела нескольких скелетов. (Windows, Linux) Учить больше	Получите доступ к передовым алгоритмам обработки изображений и возврата информации, такой как оптическое распознавание символов (OCR) или категоризация изображений. (лазурный) Учить больше	Получите доступ к таким функциям, как преобразование речи в текст, перевод речи и распознавание намерений. (лазурный) Учить больше
Образцы кода	Добавление OCR с помощью Azure Cognitive Services	Измерение точности движения человека, продемонстрированного прыжком, с обратной связью по биомеханике субъекта	Определение информации о визуальном контексте сцены	Создавайте управляемые голосом взаимодействия для Azure Kinect DK

Узнайте, как клиенты развертывают Azure Kinect

Демократизация домашнего фитнеса

Tempo использует компьютерное зрение для отслеживания формы и производительности клиентов в режиме реального времени.

Открытие нового измерения в творчестве

Узнайте, как Depthkit использует Azure Kinect Dk для создания новой творческой среды для объемного кинопроизводства.

Расширение возможностей медсестер для предотвращения падений пациентов

Ocuvera использует Azure Kinect DK для прогнозирования наличия оставленных без присмотра кроватей с точностью более 96 %.

Телереабилитация в игровой форме

Узнайте, почему компания Evolv создала свое решение для телереабилитации с помощью Azure Kinect DK.

Часто задаваемые вопросы о Azure и Kinect DK

• Azure Kinect DK можно приобрести в США, Китае, Германии, Японии и Великобритании.

• Azure Kinect DK включает в себя наши лучшие датчики искусственного интеллекта: 1-мегапиксельную камеру глубины времени полета, массив из 7 микрофонов, 12-мегапиксельную RGB-камеру и IMU. Объедините их со службами Azure для комплексных решений, оптимизированных в соответствии с вашими потребностями.

• DK означает комплект для разработчиков. Azure Kinect DK предназначен для разработчиков и коммерческих предприятий, а не для потребителей, и его следует использовать в диапазоне температур окружающей среды от 10 до 25 градусов Цельсия. Это не замена Xbox Kinect.

• Azure Kinect DK был разработан, чтобы облегчить разработчикам работу с Azure, но он работает с любым облачным провайдером или вообще без него.

• Azure Kinect DK не предназначен для использования с Xbox.

• Azure Kinect DK не имеет встроенных вычислений; соедините его с ПК по вашему выбору, от безэкранного до настольной рабочей станции. Системные требования: ПК с Windows® 10 или Ubuntu 18. 04 LTS с процессором Intel® Core™ i3 7-го поколения (двухъядерный 2,4 ГГц с графическим процессором HD620 или выше), портом USB 3.0 и 4 ГБ ОЗУ. Он недоступен в Windows 10 в режиме S. Отслеживание тела и другие возможности могут потребовать более сложного аппаратного обеспечения ПК.

Приготовьтесь создать нечто потрясающее с помощью Azure Kinect DK

Купи сейчас

Мы можем вам помочь?

The Microsoft Kinect — Общество виртуальной реальности

Когда в 2006 году была выпущена игровая консоль Nintendo Wii, она открыла новую парадигму для интерфейсов видеоигр. Для многих даже скромный геймпад представляет собой сложную систему управления, абстрагированную от того, что происходит на экране. Если вы выросли с геймпадом в руках, это не кажется проблемой, но для неигрового большинства это система управления, которая представляет собой значительную кривую обучения.

Wii изменила это, представив элементы управления движением, которые убрали часть этой абстракции. Когда вы взмахивали контроллером, персонаж на экране точно так же размахивал своей битой или теннисной ракеткой. Кривая обучения сократилась, и открылись шлюзы для массовых или «казуальных» игр. Продажи Wii были феноменальными, было продано более 100 миллионов единиц. Два «основных» производителя консолей, Microsoft и Sony, вероятно, никогда не ожидали, что скромная консоль Wii с ее сравнительно слабыми техническими характеристиками будет настолько успешной, но явно приняли к сведению. Сегодня обе консоли Xbox и Playstation двух последних поколений имеют возможности для динамичных игр.

Sony решила объединить свою систему камер с ручными контроллерами, как в Wii, но Microsoft пошла совершенно другим путем. Их система отслеживания движения вообще не использует контроллеры. Он состоит из сенсорного блока, который располагается над или под экраном или телевизором, наблюдает за пользователем и преобразует движения тела и жесты во входные данные, понятные видеоигре или другому программному пакету.

Существует несколько версий Kinect, первоначальная версия, разработанная для Xbox 360, носила кодовое название Project Natal и довольно активно рекламировалась Microsoft как революционный продукт для своей консоли. Сообщается, что маркетинговый бюджет устройства составил 500 миллионов долларов, что стало огромным толчком для захвата основного рынка, который Wii так успешно сделала.

За выпуском Kinect в 2010 году последовала версия для Windows в 2012 году. Последняя консоль Microsoft, Xbox One, также имеет собственную обновленную версию Kinect.

Что делает Kinect?

Kinect использует комбинацию датчиков и программного обеспечения для интерпретации движений, жестов, голосовых команд и черт лица. Таким образом, Kinect может предоставить играм возможность понимать вашу позу, жесты и действия. Преобразование их в интерактивную вводную информацию.

Конечно, поскольку пользователь изображает пантомиму без какой-либо физической обратной связи, единственный способ показать вам, что вы делаете, — визуальные подсказки на экране. Разные разработчики по-разному подходят к этому, но обычно это делается с помощью иконографии или аватара, отражающего движения пользователя.

По сути, Kinect создает цифровую версию пользователя, которая может напрямую взаимодействовать с виртуальным миром на экране.

Демонстрация возможностей взаимодействия, предусмотренных Microsoft, известных как «Milo», была представлена ​​с большой помпой во время выпуска оригинального устройства. Демо показывает, как молодая женщина естественным образом взаимодействует с цифровым персонажем по имени Майло. Они разговаривают, смотрят друг другу в глаза, обмениваются предметами и обычно действуют как два человека в одном пространстве. Однако большая часть демонстрации была предварительно обработана и записана. В конце концов, полностью реализованная версия этого программного обеспечения так и не была выпущена, и это остается только амбициозной демонстрацией технологии.

Как работает Kinect?

Kinect — результат многолетних исследований Microsoft и ее партнеров. Действительно, недавно анонсированный Microsoft Hololens включает в себя технологию, впервые представленную в форме Kinect.

Kinect содержит инфракрасную (ИК) камеру с датчиком глубины, способную обнаруживать движение к устройству и от него. Поэтому, если пользователь потянулся к чему-то на экране, Kinect об этом узнает. Он также имеет ИК-излучатель, который позволяет камере с определением глубины видеть.

Kinect имеет еще одну камеру, известную как датчик цвета, которая может отслеживать цвет и функции для распознавания объектов.

Наконец, есть набор микрофонов, которые позволяют позиционировать звук.

Сенсорная планка также находится на моторизованной подставке, что позволяет устройству автоматически корректировать движения, выводящие пользователя из поля зрения.

Эти датчики генерируют несколько потоков данных для использования программными приложениями, такими как видеоигры. Например, поток для скелетных данных, поток для данных о цвете и поток для данных о глубине.

Последняя версия Kinect (известная как V2), предназначенная для использования с последней консолью Xbox, Xbox One, имеет несколько улучшений по сравнению с исходной версией Xbox 360.

Kinect V2 теперь имеет значительно улучшенное разрешение, новую усовершенствованную камеру времени полета, более широкое поле зрения, возможность отслеживать шесть скелетов игроков одновременно, возможность прямого измерения частоты сердечных сокращений пользователя и теперь требует меньше физических усилий. пространство для пользователя, чем оригинал.

Значение Kinect для виртуальной реальности

Возможности Kinect имеют очевидные приложения для дополненной реальности, как видно из интеграции этой технологии в головной дисплей дополненной реальности (HMD) Hololens. В то же время она может стать важной технологией и для виртуальной реальности. Даже при ношении HMD виртуальной реальности Kinect все еще может видеть пользователя и передавать оцифрованное представление движений в виртуальное пространство. Надев HMD, вы можете посмотреть вниз и увидеть собственное тело, поднять руку, а благодаря Kinect вы увидите, что ваша виртуальная рука делает то же самое. Использование Kinect в сочетании с HMD устраняет неудобный барьер, представленный экраном, и позволяет отслеживать движения всего тела без необходимости носить громоздкое оборудование на теле. Просто встаньте так, чтобы Kinect мог вас видеть и отслеживать ваши движения.

Удобство этого подхода не ускользнуло от конкурентов Microsoft. Playstation VR от Sony полагается на внешнее отслеживание с помощью камеры Playstation, а система SteamVR от Valve Corporation также использует внешние ИК-сканеры для отслеживания движения, хотя обе реализации достаточно отличаются от Kinect, чтобы сделать их уникальной технологией.

Что такое камера Kinect®?

`;

Алекс Ньют

Дата последнего изменения: 07 сентября 2022 г.

Камера Kinect® — это часть устройства захвата движения Kinect®, отвечающая за улавливание игроков и их движений во время интерактивного игрового процесса. Эта камера является инфракрасной (ИК) камерой, то есть она улавливает инфракрасный свет и разделяет объекты по цвету. После того, как камера Kinect® сделает снимок, она фильтрует объекты, чтобы найти игроков, но сама камера не может улавливать мелкие детали. В играх Kinect® используется множество различных поз из обширной цифровой библиотеки, и камера ищет их, чтобы убедиться, что игрок выполняет правильную позу. Работая со средней скоростью 30 кадров в секунду (FPS), эта камера работает умеренно быстро и не должна упускать движения игрока.

В устройстве Kinect® есть два основных компонента, отвечающих за улавливание движений игрока, и один из них — камера Kinect®. Второй — ИК-проектор, который отражает ИК-свет по комнате, помогая камере улавливать объекты. Когда камера видит объект, она классифицирует его на основе местоположения с помощью цвета. Например, объекты, находящиеся далеко, окрашены в серый цвет, а объекты, расположенные ближе, — в зеленый или красный.

Камера Kinect® предназначена для того, чтобы обращать внимание на людей, поэтому она пропускает изображение через алгоритм обработки изображения, который определяет, что является человеком, а что животным или объектом, которые следует игнорировать. Это не позволяет камере интерпретировать движения собаки как движения игрока. Хотя камера знает, что такое человек, и может распознавать такие детали, как рост и прическа, она не может запечатлеть мелкие детали, такие как пальцы, выражение лица и нос.

В играх Kinect® используется около 200 поз, и камера Kinect® ищет эти позы. Например, если игра говорит игроку поднять правую ногу, камера отфильтрует позу игрока, чтобы убедиться, что она правильная. Если игрок находится слишком далеко в стороне и вне поля зрения камеры, она возьмет то, что может видеть от игрока, и сравнит его с предварительно загруженными позами. Это приводит к обоснованному предположению фактической позы игрока, которое обычно является точным.

В среднем камера Kinect® будет работать со скоростью 30 кадров в секунду. Хотя это не самая быстрая камера в мире, она должна быть достаточно быстрой, чтобы запечатлеть каждое движение и позу игрока. На этой скорости камера может плавно фиксировать движения с низким уровнем ошибок.

Что такое Microsoft Azure Kinect DK?

Что такое Azure Kinect DK?
Хотя бренд Kinect больше всего ассоциируется с игровым устройством с датчиком движения, те времена уже позади: теперь Kinect — это бизнес. Последняя модель называется Azure Kinect Developer Kit (DK) и была представлена ​​на MWC 2019.

MWC 2022

• Аппаратный потоп Lenovo
• Samsung Galaxy Book2: ноутбук для всех
• Модем Qualcomm 5G оснащен встроенным искусственным интеллектом
• Три телефона Nokia C-серии от HMD
• TCL: еще пять смартфонов 30-й серии
• Huawei представила умные офисные устройства
• Microsoft добавляет сервисы, ориентированные на 5G, в линейку Azure для телекоммуникационных компаний

Хотя он основан на той же фундаментальной концепции — устройстве, которое может отслеживать движение и «видеть» мир вокруг себя, целью здесь являются не игры, а создание корпоративных приложений, которые подключаются к облачным вычислениям и искусственному интеллекту Microsoft ( ИИ) инфраструктура. Новое устройство включает в себя камеру и другие датчики в одном блоке, который разработчики и предприятия могут использовать для создания приложений на основе ИИ, основанных на распознавании лиц, отслеживании тела и других сервисах, которые могут понимать, что происходит в физическом мире, и реагировать, если требуется.

Что внутри Azure Kinect?
Устройство содержит 1-мегапиксельный времяпролетный датчик глубины, который используется в HoloLens 2, 7-микрофонный массив для обеспечения захвата речи и звука в дальней зоне, 12-мегапиксельную видеокамеру RGB для дополнительного цветового потока, поток глубины, акселерометр и гироскоп, а также внешние контакты для одновременной синхронизации потоков датчиков с нескольких устройств Kinect в устройстве размером 103 x 39 x 126 мм, подключенном через USB, и весе 440 г. Затем эти датчики можно подключить к службам компьютерного зрения и речи Microsoft через Azure, чтобы создавать приложения, которые могут измерять окружающий мир и реагировать на них.

Изображение: Microsoft

Какие приложения можно создавать с помощью Azure Kinect?
Microsoft приводит пример компании Ocuvera, занимающейся технологиями в области здравоохранения, которая использует эту технологию для предотвращения падений пациентов в больницах. Каждый год в США падает более миллиона пациентов больниц, и 11 000 из этих падений заканчиваются смертельным исходом. Система Azure Kinect может определить вероятность падения и уведомить медсестру о необходимости добраться до пациентов до того, как они упадут.

SEE: Как внедрить ИИ и машинное обучение (специальный отчет ZDNet) | Скачать отчет в формате PDF (TechRepublic)

Microsoft предполагает, что еще одно применение может заключаться в улучшении и мониторинге спортивных результатов, а также в ускорении реабилитации пациентов с обратной связью в режиме реального времени на основе данных SDK Body Tracking, который скоро появится. Захват среды в 3D, например, как часть системы управления складом или в розничной торговле, является еще одним предлагаемым вариантом использования. Облачные службы Microsoft Azure, такие как отслеживание лиц и распознавание речи, также можно использовать для создания приложений.

Изображение: Microsoft

Когда будет доступен Azure Kinect?
Устройство первоначально доступно в США и Китае, Azure Kinect DK за 399 долларов США и должно быть отправлено 27 июня 2019 г. Новые пакеты SDK будут доступны, когда оборудование начнет поставляться. Microsoft заявила, что Sensor SDK находится в стадии разработки, и ожидается, что со временем будут доступны новые функции; исходный код SDK будет открытым, чтобы можно было внести вклад за пределами Microsoft.

Можно ли использовать его с Xbox?
Нет — несмотря на то, что у сенсора движения Kinect, ранее продававшегося с Xbox, такое же имя и концепция, это устройство для разработчиков и бизнес-устройств и не будет работать с вашей консолью.

Чем Azure Kinect DK отличается от Kinect для Windows v2?
Kinect for Windows Software Development Kit 2.0 — это предыдущий пакет Microsoft, позволяющий разработчикам создавать приложения, поддерживающие распознавание жестов и голоса, с использованием сенсорной технологии Kinect на компьютерах под управлением Windows 8, Windows 8.1 и Windows Embedded Standard 8. Azure Kinect — это примерно вдвое меньше предыдущей технологии с более высокими характеристиками. Microsoft заявила, что различия между Azure Kinect и Kinect для Windows v2 будут означать, что любые существующие приложения Kinect для Windows v2 не будут работать напрямую с Azure Kinect DK и потребуют переноса.

ПРЕДЫДУЩИЕ И СВЯЗАННЫЕ ИСТОРИИ

• Microsoft HoloLens 2: все, что нужно знать разработчикам и ИТ-специалистам
• HoloLens 2 от Microsoft сможет запускать браузер Firefox изначально
• HTC запускает VIVE Focus Plus, автономную корпоративную систему виртуальной реальности
• HoloLens 2 от Microsoft ощущается как практическое волшебство (CNET)
• Благодаря искусственному интеллекту и виртуальной реальности Breeders’ Cup привносит технологии в мир скачек
• Enterprise VR: как компании тестируют технологии, используемые командами НФЛ
• AR и VR: будущее работы и развлечений?
• Microsoft HoloLens 2: все, что нужно знать разработчикам и ИТ-специалистам (TechRepublic)
• Исследования: 67 % рассматривают возможность внедрения дополненной реальности на предприятии
• Руководство для руководителей по ценности виртуальной и дополненной реальности для бизнеса (бесплатная электронная книга)

Инструмент искусственного интеллекта, о котором вы не знали

Часто мы не знаем технологии, которые у нас есть. Смартфоны, планшеты, телевизоры и другие бытовые электрические устройства в нашей повседневной жизни являются чрезвычайно мощными инструментами. Что стоит за технологией или устройством? Сегодня я расскажу о сенсоре Microsoft Kinect.

Что такое сенсор Kinect?

Датчик Kinect был разработан, чтобы изменить то, как вы играете с игровыми консолями дома. Это было первое устройство, которое позволяло нам управлять консолью без прямого контакта с контроллером. Только через его визуальные системы мы можем контролировать функциональные возможности устройства.

Он был представлен в 2009 году на выставке Electronic Entertainment Expo 2009. Его первоначальное название было «Проект Натал». Его можно определить как бесплатный игровой и развлекательный контроллер, а его создателем был Алекс Кипман. Microsoft решила разработать его для игровой консоли Xbox 360.

В 2011 году вышла вторая версия для ПК с Windows 7 и Windows 8. Особенностью, которая отличает его, является способность распознавать жесты, голосовые команды и объекты на изображениях.

ЧИТАЙТЕ ТАКЖЕ

Это инновационная технология, за которой стоит сочетание камер, микрофонов и программного обеспечения. Все это содержится в Kinect.

Основные части сенсора Kinect

-Цветная видеокамера RGB . Работает как веб-камера, записывая изображения на видео. Сенсор Kinect использует эту информацию для получения подробной информации об объектах и ​​людях в комнате.

-ИК излучатель. Инфракрасный излучатель способен излучать инфракрасный свет в комнату. Когда инфракрасный свет падает на поверхность, рисунок искажается. Это искажение читается благодаря другому его компоненту, камере глубины.

— Глубинная камера . Он анализирует инфракрасные узоры, излучаемые излучателем, и способен построить трехмерную карту помещения, а также всех объектов и людей в нем.

— Комплект микрофонов . Датчик Kinect имеет четыре встроенных прецизионных микрофона, способных определять, откуда исходят звуки и голоса. Он также способен фильтровать фоновый шум.

— Двигатель наклона . Этот мотор имеет возможность регулировки на основе сенсора Kinect. Он способен определять размер человека впереди и при необходимости регулировать вверх и вниз. №

Все идеально собрано на горизонтальной перекладине около 28 см, на закругленном квадратном основании, на котором оно держится.

Но на самом деле это интеллектуальное устройство оснащено программным обеспечением. Kinect способен захватывать невероятное количество данных. Всегда ставьте своей целью то, что движется в вашем окружении. Благодаря обработке этих данных с помощью алгоритма искусственного интеллекта и методов машинного обучения Kinect может отображать визуальные данные, которые он получает с помощью своих датчиков.

Цель состоит в том, чтобы иметь возможность обнаруживать людей и понимать, в каком положении находится каждый обнаруженный человек.

Программное обеспечение датчика Kinect

Как только датчики получают информацию, она немедленно обрабатывается программным обеспечением искусственного интеллекта. Он способен классифицировать различные объекты, находящиеся в сцене. Он узнает людей по голове и конечностям.

Kinect понимает, как двигается человек, и предполагает, например, что мы не можем повернуть голову на 360º и другие невозможные действия, которые мы можем выполнить. Для нас это очень просто, но для машины требуется длительный период обучения.

Этот тип обучения известен как машинное обучение. Он состоит из анализа огромного количества реальных данных, чтобы найти закономерности. Вот как мы изучаем людей, основываясь на наблюдении и обучении.

Kinect фиксирует движения людей с помощью более чем 48 точек артикуляции. Это делается с помощью довольно сложного алгоритма, учитывающего множество факторов. Итак, как это работает?

1. Создайте изображение глубины с помощью ИК-излучателя и камеры глубины. Делается это с помощью триангуляции, так же, как и при расчете расстояния до звезд за пределами Солнечной системы.
2. Обнаружение частей тела человека. Это делается с помощью дерева решений. Шаблоны для принятия этих решений были получены на этапе обучения с более чем миллионом примеров.

Это очень краткое описание того, как работает алгоритм. За всем этим стоит очень обширная математическая база. Используются вероятность и статистика, многомерные вычисления, линейная алгебра, комплексный анализ, графовые алгоритмы, геометрия, дифференциальные уравнения, топология и т.д.

Создайте свой собственный проект с помощью Kinect

Существует несколько вариантов использования Kinect в наших проектах. Самым лучшим и оптимальным будет работать с SDK, который Microsoft предлагает для разработчиков.

Существует два пакета SDK в зависимости от вашей версии Kinect. Версия 1.8 для Kinect v1 и версия 2.0 для Kinect v2.

Вы можете разрабатывать приложения с помощью Kinect в Visual Studio с родными языками Microsoft C# и Visual Basic.

Есть и другие, «более простые» варианты. Один из них — работа с Processing. Для этого нам нужно настроить наше оборудование. Мы должны проявлять особую осторожность в SDK и драйверах. Другим вариантом было бы запрограммировать его с помощью Python.

Реальные примеры использования Kinect

Во многих областях Kinect может предложить широкий спектр возможностей.

Медицина: Жест

В операционных залах больниц одним из наиболее важных ресурсов, доступных врачам, является магнитно-резонансная томография и томографическая визуализация. К сожалению для пациентов и хирургов, ознакомление с этой информацией может занять много времени и средств.

Gesture — это решение, созданное североамериканской компанией, которое позволяет обращаться к этим изображениям с помощью жестов благодаря Kinect. Теперь это ценное время для хирурга, пока пациент находится под наркозом.

Промышленность: KinectFusion

Этот проект позволяет использовать Kinect в качестве 3D-сканера малых и больших объектов в высоком качестве.