Проектирование системы, Архитектура - Разработка системы дополненной реальности с поддержкой распознавания жестов в режиме реального времени
Прототип системы разрабатывался для мобильных устройств под управление операционной системы iOS. Для разработки использовался Фреймворк Vuforia SDK и игровой движок Unity 4.
Архитектура
Для функционирования рассматриваемой системы необходимы следующие модули:
1) Камера
Компонент камеры гарантирует, что каждый просмотр кадров фиксируется и передается эффективно на трекер. Разработчик только инициализирует камеру, чтобы начать и остановить запись. Кадр камеры автоматически конвертируется в аппаратно-зависимый формат и задает нужный размер изображения.
2) Конвертер изображения.
Конвертер форматов преобразует кадры с камеры формата (например, YUV12) в формат, пригодный для рендеринга OpenGL ES (например, RGB565) и для отслеживания. Это преобразование также включает в себя уменьшение изображение с камеры в различных разрешениях доступных в преобразованном стеке кадров.
3) Трекер
Компонент трекер содержит алгоритмы компьютерного зрения, для того чтобы выявлять и отслеживать объекты реального мира в рамках видеокамеры. На основе изображения с камеры, различные алгоритмы заботятся о выявлении новых целей, либо маркеров и оценки виртуальных кнопок. Результаты хранятся в состоянии объекта, который используется фоновое видео визуализации и могут быть доступны из кода приложения. Трекер может загрузить несколько наборов данных одновременно и активировать их.
4) Отрисовка фона
Этот модуль визуализации создает изображение, хранящееся в объекте. Производительность визуализации видео фоновом режиме оптимизирована для конкретного устройства.
5) Код приложения
В коде должны быть инициализированы все вышеперечисленные компоненты и выполнены три условия. Для каждого обработанного кадра объект обновляется и вызывается метод отрисовки. Необходимо:
- - Определять объекты для вновь обнаруженных целей, маркеров или обновленных состояний этих элементов - Обновлять логику приложения с новыми входными данными - Отрисовывать слой дополненной реальности 6) База маркеров
База данных маркеров в устройстве создаются с помощью онлайн Target Manager. Он создает специальный XML файл конфигурации и двоичный файл, содержащий базу данных для отслеживания. Эти файлы добавляются разработчиком приложения в установочный пакет приложения и используются во время выполнения.
На рисунке 15 представлена архитектура прототипа.
Рисунок 15. Архитектура прототипа системы
Похожие статьи
-
Выбор Фреймворка для разработки системы Перед началом разработки необходимо произвести выбор Фреймворка (набора библиотек). Обзор альтернатив OpenCV -...
-
Основными устройствами, используемым в системах дополненной реальности являются дисплеи, устройства ввода, устройства отслеживания и компьютер. Дисплеи...
-
Мобильные системы дополненной реальности включают в себя мобильные приложения для телефонов. Мобильные AR подразумевают использование различных мобильных...
-
Есть много типов устройств ввода для AR систем. Некоторые системы используют перчатки. Другие, такие как ReachMedia [13] используют беспроводные...
-
Хотя существует множество инновационных способов использования дополненной реальности, можно выделить четыре типа приложений, в которых чаще всего...
-
Человек получает представление об окружающем пространстве с помощью большого набора органов чувств. Система дополненной реальности, являясь посредником...
-
Второй вид взаимодействия использует положения и ориентации устройства (определяется с помощь данных, полученных со встроенного акселерометра и компаса)...
-
Развлекательная и образовательная область включает в себя "культурные" приложения для осмотра достопримечательностей и музейные путеводители, игровые...
-
Совместные AR интерфейсы включают в себя использование нескольких дисплеев для поддержки удаленной совместной деятельности. Для создания совместной...
-
Мобильные приложения дополненной реальности чаще всего являются развлекательными, образовательными, навигационными или информационные. Например...
-
Многие исследовательские группы поднимали проблему социально приемлемых технологий. Мобильные системы, постоянно сталкиваются с проблемой социального...
-
Один из наиболее важных аспектов при создании систем дополненной реальности - это создать соответствующий интуитивно понятный интерфейс между...
-
Хорошо известно, что для качественных AR систем, чтобы предоставить реалистичный результат требуется очень точно отслеживать реальную среду для...
-
В мобильной дополненной реальности (AR), пользователи смотрят на прямое изображение, полученное с видеокамеры на их мобильном устройстве и сцены, которые...
-
Существует достаточно широкий спектр областей науки и техники, в которых может применяться дополненная реальность. Однако в первую очередь можно выделить...
-
Общая характеристика Для оценки общей возможности распознавания жестов в мобильных АR, сравним стандартные взаимодействия, через сенсорный экран, и тип...
-
Для того чтобы далее исследовать потенциал использования жестов для систем дополненной реальности, рассмотрим манипуляции виртуальными объектами,...
-
Мультимодальные интерфейсы объединяют реальные формы устройств ввода с натуральными формами языка и поведения, такими как речь, осязание, жесты рукой или...
-
Определение дополненной реальности Термин дополненной реальности (augmented reality, AR) предположительно был предложен работавшим на корпорацию Boeing...
-
Таблица 2. Таблица альтернатив и критериев Критерии альтернативы Кроссплатформенность Наличие документации и литературы Поддержка различных языков...
-
Рассмотри несколько видов взаимодействия, которые могли бы решить поставленную задачу. Для простоты рассмотрим взаимодействие с виртуальным объектом...
-
Общее описание программного обеспечения, реализующего разработанный алгоритм Основной идеей дипломного проекта, является реализация алгоритма...
-
Проектирование модели - Разработка программного приложения "Калькулятор коммунальных услуг"
При проектировании информационных систем предметная область отображается моделями данных нескольких уровней. Число используемых уровней зависит от...
-
ОС Android - операционная система для мобильных телефонов, планшетных компьютеров и нетбуков, основанная на ядре Linux. Изначально разрабатывалась...
-
Объектно-ориентированное программирование (ООП) является парадигмой программирования, которая представляет понятия, как "объекты", которые имеют поля...
-
Виды систем видеонаблюдения Как правило, в любую современную систему видеонаблюдения входят не только традиционные видеокамера и телевизор для просмотра...
-
Рис. 2 Схема IP видеонаблюдения IP видеонаблюдение - один из распространенных методов с современных системах наблюдения и охраны. Все крупные...
-
Введение - Разработка системы видеонаблюдения частного дома
В нашем время видеонаблюдение стало неотъемлемой частью комплексной системы безопасности, потому что нынешние системы видеонаблюдения могут не только...
-
Цель Работы - использовать принципы архитектуры "Документ-Представление" для выборки и сохранения данных в файлах, а также взаимодействия элементов меню,...
-
Система функционирует как распределенная трехзвенная клиент-сервер-СУБД программная архитектура. В среде серверной операционной системы Microsoft Windows...
-
Описание предметной области Для описания предметной области была использована методология IDEF0. IDEF0 -- (ICAM DEFinition language 0) -- Function...
-
Необходимо отметить специальный класс приложений - систем поддержки принятия решений, позволяющие моделировать правила и стратегии бизнеса и иметь...
-
Проектирование систем видеонаблюдения и используемые компоненты Рассмотрим первый тип систем видеонаблюдения - специализированый комплект оборудования....
-
Требования по электрической безопасности. Персональный компьютер -- электроприбор. От прочих электроприборов он отличается тем, что для него...
-
Разработка концептуальной модели АИС - Проектирование автоматизированной информационной системы
Любая деятельность компании отражается в документах, и, чтобы улучшить качество рабочих бизнес-процессов, необходимо улучшить документооборот, т. е....
-
Виды архитектур распределенных баз данных - Модели серверов баз данных
В рамках многоуровневого представления вычислительных систем можно выделить три группы функций, ориентированных на решение различных подзадач: 1 функции...
-
Серверная программа, Инструменты разработки - Визуализация графа цитирования
Серверная программа - это веб-сервер, необходимый для получения и хранения графов. Сервер может создавать графы цитрования из библиотеки IEEE Xplore...
-
Интегрированная среда разработки Delphi - Приемы программирования в Delphi
Delphi - это потомок среды программирования TurboPascal. Название среды произошло от названия города в Древней Греции, где находился знаменитый...
-
Заключение - Разработка системы автоматизации учета кадров для малых фирм на этапе стартапа
Итак, в результате выполнения дипломного проекта было разработано приложение баз данных, позволяющее автоматизировать операции учета в отделе кадров....
-
Прогноз погоды - научно обоснованное предположение о будущем состоянии погоды в определенном пункте или регионе на определенный период. Составляется...
Проектирование системы, Архитектура - Разработка системы дополненной реальности с поддержкой распознавания жестов в режиме реального времени