prosdo.ru
добавить свой файл
1

СИСТЕМА РАСПОЗНАВАНИЯ ЖЕСТОВ РУК С ИСПОЛЬЗОВАНИЕМ ИНВАРИАНТНЫХ ПРИЗНАКОВ


А.В. Носов

А.Г.Зотин, научный руководитель, канд. техн. наук

Сибирский государственный аэрокосмический университет

имени академика М. Ф. Решетнева

г. Красноярск


В настоящее время распознавания жестов рук является актуальной задачей. Она является одной из самых главных задач для создания естественного интерфейса взаимодействия человека с машиной и для создания системы автоматического сурдоперевода. В связи с этим, основной целью работы являлась разработка программной системы, позволяющей распознавать жесты рук в режиме реального времени. К разрабатываемому программному продукту были предъявлены следующие требования: захват видео с камеры; распознавание, ориентированное на режим реального времени; система должна быть обучаема, т.е. предусмотрена возможность добавления новых жестов в базу данных.

Для достижения поставленной цели необходимо решить следующие задачи: рассмотрение аналогичных программных продуктов; изучение существующих подходов и методов локализации рук и распознавания жестов; разработка алгоритма распознавания жестов; разработка структуры программного продукта и выбор среды разработки; программная реализация алгоритмов локализации и распознавания жестов; проведение тестирования.

Для реализации ПП решено было разбить его по функциональным модулям: модуль захвата видео-потока (с камеры или из файла), модуль сегментации, модуль морфологической обработки, модуль распознавания, модуль базы данных жестов и модуль спектрального анализа изображения.

При программной реализации процесс распознавания был разбит на несколько этапов: сегментация изображения и локализация кисти руки, поиск локализованного жеста в базе данных и вывод результата. Для оценки эффективности сегментации в различных каналах был использован разработанный модуль SpectrumAnalyzer, позволяющий визуализировать представление изображения в определенной составляющей выбранной цветовой модели. В ходе исследований было выявлено, что наиболее эффективные результаты давала сегментация в хроматических компонентах моделей HSV и YCrCb[1]. Поэтому, при распознавании, по умолчанию, использовалась комбинированная сегментация в этих цветовых моделях. Но, при желании, пользователь может изменить параметры сегментации. После выполнения сегментации, полученное бинарное обрабатывается морфологическими операциями: расширение, сужение. Локализация кисти руки реализована в виде маркировки связанных областей в бинарном изображении. Процесс распознавания в общем виде представлен на схеме (Рисунок 1).


полотно 103

Рисунок 1 – Схема распознования


Для распознавания, в каждой области вычислялись такие инвариантные признаки, как компактность, удлиненность, инвариантные моменты[2] и другие. Процесс распознавания заключается в сравнении вектора инвариантных признаков с эталонными векторами тех же признаков из базы данных. С целью ускорения процесса сравнения векторов, в программе реализована дополнительная проверка, сначала сравнивались только компактность и удлиненность, если они отличались менее чем в два, то происходило дальнейшее сравнение инвариантов.

База данных эталонных жестов, с которой работает программа, представляет собой совокупность XML файлов, в которых хранятся следующие данные: название жеста и коллекция эталонных жестов. Эталонный жест содержит в себе контур жеста и вектор инвариантных признаков.

В результате проделанной работы была разработана система распознавания жестов «HandsGesturesRecognition», которая представляет собой приложение, написанное на языке C# с использованием возможностей платформы .NET, библиотеки машинного зрения OpenCV.

Обучение системы проходило с использованием 78 видеопоследовательностей, в которых были отражены по 6-10 разновидностей жестов. Обучающая выборка состояла из 516 эталонов для 10 жестов. Произведенное тестирование показало приемлемое быстродействие системы, в среднем 28,25 миллисекунд на полную обработку кадра. Точность локализации находилась в диапазоне от 80 до 100 % и в среднем составляет 96% для рекомендуемой цветовой модели.


  1. Гонсалес, Р. Цифровая обработка изображений [Текст] / Р. Гонсалес, Р. Вудс. – М.: Техносфера, 2006. – 1072 с.

  2. Flusser, J. On the Independence of Rotation Moment Invariants [Text] / J. Flusser // Pattern Recognition, 2000.