Новосибирский программист обучил систему жестовому русскому языку

Конструкторы для обучения детей робототехнике

Share Button

Выпускник НГТУ НЭТИ Алексей Приходько глухой с рождения. Он закончил работу над системой, которая помогает людям с нарушениями слуха управлять компьютером при помощи жестов.

Новосибирский программист обучил систему жестовому русскому языку

Основная функция созданной программы — перевод жестового языка. С помощью камеры система считывает жесты, затем обрабатывает их, сопоставляя с имеющимися в нейронной сети данными, а затем выдает на экран перевод. Кроме основной функции, программа умеет управлять компьютером с помощью жестов. Пользователь может настроить громкость, яркость и управлять курсором.

С письменного языка на жестовый переводить не сложно. Технически тяжело распознать жесты и их перевести. Все зависит еще от того, какая камера и какие датчики. Существует два способа распознавания жестов при помощи техники: безмаркерный и маркерный. Маркерная система — это когда у человека надеты специальные перчатки, приборы на запястья, браслеты и современные агрегаты, которые учитывают движение мышц и точки на корпусе человека. Я пошел сложным путем, который не требует больших затрат на специальное оборудование для создания программы с маркерной системой. Моя программа безмаркерным методом распознает человека и его жесты при помощи камер, — пояснил пресс-службе НГТУ Алексей Приходько.

Автор разработки планирует расширить знания своей программы. Сейчас она использует только азбуку глухих. Алексей в скором времени добавит и грамматику жестового языка. Это позволит сделать программу доступной для использования глухими.

Глухой программист НГТУ НЭТИ обучил систему переводить жесты на русский язык и управлять компьютером без помощи мыши (видео)

Share Button

Нет комментариев.

Оставить комментарий

© 2014-2019 Занимательная робототехника, Гагарина Д.А., Гагарин А.С., Гагарин А.А. All rights reserved / Все права защищены. Копирование и воспроизведение в любой форме запрещено. Политика кофиденциальности. Соглашение об обработке персональных данных.
Наверх