Проектирование системы, Архитектура - Разработка системы дополненной реальности с поддержкой распознавания жестов в режиме реального времени

Прототип системы разрабатывался для мобильных устройств под управление операционной системы iOS. Для разработки использовался Фреймворк Vuforia SDK и игровой движок Unity 4.

Архитектура

Для функционирования рассматриваемой системы необходимы следующие модули:

1) Камера

Компонент камеры гарантирует, что каждый просмотр кадров фиксируется и передается эффективно на трекер. Разработчик только инициализирует камеру, чтобы начать и остановить запись. Кадр камеры автоматически конвертируется в аппаратно-зависимый формат и задает нужный размер изображения.

2) Конвертер изображения.

Конвертер форматов преобразует кадры с камеры формата (например, YUV12) в формат, пригодный для рендеринга OpenGL ES (например, RGB565) и для отслеживания. Это преобразование также включает в себя уменьшение изображение с камеры в различных разрешениях доступных в преобразованном стеке кадров.

3) Трекер

Компонент трекер содержит алгоритмы компьютерного зрения, для того чтобы выявлять и отслеживать объекты реального мира в рамках видеокамеры. На основе изображения с камеры, различные алгоритмы заботятся о выявлении новых целей, либо маркеров и оценки виртуальных кнопок. Результаты хранятся в состоянии объекта, который используется фоновое видео визуализации и могут быть доступны из кода приложения. Трекер может загрузить несколько наборов данных одновременно и активировать их.

4) Отрисовка фона

Этот модуль визуализации создает изображение, хранящееся в объекте. Производительность визуализации видео фоновом режиме оптимизирована для конкретного устройства.

5) Код приложения

В коде должны быть инициализированы все вышеперечисленные компоненты и выполнены три условия. Для каждого обработанного кадра объект обновляется и вызывается метод отрисовки. Необходимо:

    - Определять объекты для вновь обнаруженных целей, маркеров или обновленных состояний этих элементов - Обновлять логику приложения с новыми входными данными - Отрисовывать слой дополненной реальности 6) База маркеров

База данных маркеров в устройстве создаются с помощью онлайн Target Manager. Он создает специальный XML файл конфигурации и двоичный файл, содержащий базу данных для отслеживания. Эти файлы добавляются разработчиком приложения в установочный пакет приложения и используются во время выполнения.

На рисунке 15 представлена архитектура прототипа.

архитектура прототипа системы

Рисунок 15. Архитектура прототипа системы

Похожие статьи




Проектирование системы, Архитектура - Разработка системы дополненной реальности с поддержкой распознавания жестов в режиме реального времени

Предыдущая | Следующая