Израильская компания PrimeSense, технологии которой были использованы при создании устройства Microsoft Kinect, представила новый открытый проект - OpenNI, код которого открыт под лицензиями GPLv3/LGPLv3. Дополнительно открыт пакет драйверов и сопутствующих компонентов для работы с сенсорами на базе платформы PrimeSense и устройствами MS Kinect. Бинарные сборки OpenNI и драйверов доступны для Windows и Ubuntu.

Цель проекта OpenNI - создание универсального фреймворка для обеспечения совместимости и переносимости приложений, промежуточного ПО и устройств, базирующихся на естественном взаимодействии с пользователем. В частности, OpenNI предоставляет универсальный API для организации управления приложениями через движения пользователя и голосовые команды. Из областей применения интерфейсов естественного взаимодействия можно отметить не только игровые программы, в которых движения пользователя отражаются на течении игрового процесса, но и создание интуитивных форм управления бытовой электроникой через язык жестов (например, условное движение руки может включить определенный бытовой прибор или переключить канал телевизора).

Примеры базовых возможностей, которые можно реализовать при помощи OpenNI:

• Распознавание управляющих речевых команд;
• Распознавание движения руки и выявление предопределенных жестов, которые затем интерпретируются в управляющие команды;
• Отслеживание и анализ движения тела, что может быть использовано для управления игровым процессом.

Состав OpenNI API:

• Сенсоры для приема визуальной и аудио информации, позволяющие видеть и слышать людей и их окружение.

  Поддерживаемые сенсоры:

  • 3D-сенсор, позволяющий определить расстояние до объекта с учетом глубины помещения;
  • RGB-камера;
  • Инфракрасная камера;
  • Аудиоустройство (микрофон или группа микрофонов).
• Промежуточное ПО (middleware) для восприятия визуальной и звуковой информации, предназначенное для анализа содержимого сцены и осмысления происходящего. Например, middleware-компонент получая на вхоже изображение может выявить позицию кисти руки.

  Компоненты промежуточного ПО:

  • Анализатор положения тела, обрабатывающий полученные от сенсоров данные и генерирующий информацию, связанную с позицией тела человека (например, предоставление данных о позиции суставов в пространстве, смещении центра масс и т.п.);
  • Анализатор положения кисти руки, выявляющий позицию кистей рук у присутствующих в области видимости людей;
  • Компонент для определения появления управляющих жестов на основании потока данных от анализатора положения кистей рук и уведомление приложений в случае выявления жеста (например, жест рукой в виде волны);
  • Анализатор состояния сцены, оценивающий изменение заднего плана, координирующий плоскость пола, выявляющий новые фигуры и объекты.