Глухой программист НГТУ НЭТИ обучил систему переводить жесты на русский язык и управлять компьютером без помощи мыши (видео)



В начале августа выпускник НГТУ НЭТИ завершил работу над прототипом системы, который переводит язык людей с нарушениями слуха и управляет компьютером при помощи жестов. Алексей Приходько — единственный глухой программист в мире, который работает над созданием автоматического переводчика жестов на звуковой язык.

Для автора разработки русский жестовый язык (РЖЯ) — родной. Он и его семья — глухие. Алексей не слышит с детства, но это не помешало ему стать экспертом в программировании. Целеустремленность и математические способности помогли Алексею Приходько не только получить высшее образование в НГТУ НЭТИ и стать одним из самых успешных аспирантов университета, но и пройти стажировку в Германии по приглашению Гамбургского университета, одержать победу на хакатоне федерального проекта «Россия — страна возможностей», получить грант фонда Владимира Потанина, а также выступить в роли спикера на IT-конференции в Мюнхене и разработать прототип компьютерного переводчика РЖЯ. Сейчас выпускник НГТУ НЭТИ Алексей Приходько — единственный в мире программист и эксперт по разработке системы для перевода РЖЯ. «Я — исполнитель, я же — и разработчик. Представьте, если бы я занимался пианино, я не смог бы ремонтировать его, настраивать, потому что я его не слышу. То же самое и человек, который не знает жестового языка. Технически ему очень сложно работать над этим, потому что он не может учитывать всю специфику этой лингвистики», — утверждает Алексей Приходько. Основная функция программы, над которой работает Алексей, — перевод. Система работает по аналогии с мозгом человека. При помощи камеры программа распознает картинку и фиксирует жесты, изображение переводит в модели и обрабатывает внутри системы, сопоставляя их с данными в нейронной сети, после чего компьютер выводит на монитор уже соответствующий жестам перевод.

Помимо встроенной функции переводчика система способна управлять компьютером при помощи жестов. Движениями рук можно настроить громкость, яркость и управлять курсором на экране без помощи мыши.

По словам Алексея Приходько, сегодня существует много компаний, которые утверждают, что смогли создать готовый переводчик для глухих, они рекламируют его и уже даже продают. «Savvy Motion, Kinect Sign Language Translator в Microsoft Research и другие крупные компании до сих пор не смогли реализовать полностью эту задачу перевода с жестового языка на звуковой язык, поэтому качество работы таких приложений оставляет желать лучшего», — поделился он.

Проблема в разработке хорошего переводчика связана с главной особенностью жестового языка — его грамматикой. Именно поэтому сегодня ни одна программа не способна заменить живых переводчиков. Дело в том, что перевод напрямую зависит не только от конфигурации и ориентации рук, но и от их движения, месторасположения и так называемого лингвистами немануального компонента жестов (выражение лица, движение губ и другие знаки артикуляции).

«С письменного языка на жестовый переводить не сложно. Технически тяжело распознать жесты и их перевести. Все зависит еще от того, какая камера и какие датчики. Существует два способа распознавания жестов при помощи техники: безмаркерный и маркерный. Маркерная система — это когда у человека надеты специальные перчатки, приборы на запястья, браслеты и современные агрегаты, которые учитывают движение мышц и точки на корпусе человека. Я пошел сложным путем, который не требует больших затрат на специальное оборудование для создания программы с маркерной системой. Моя программа безмаркерным методом распознает человека и его жесты при помощи камер», — комментирует Алексей Приходько.

Безмаркерная система, которую использует в системе Алексей, при помощи специальных камер накладывает виртуальную «сетку» на получаемое изображение. На этой «сетке» программные алгоритмы находят опорные точки, по которым определяются жесты. Далее система обрабатывает данные и после воспроизводит заданные действия: перевод или управление.

«Если модель определяет, например, что пальцы раскрыты — буква В, если пальцы собраны — О. Согнулся локоть или нет. В зависимости от этого формируется некая математическая модель, которая создается из скелетной модели. И соответственно каждым числам из этой модели присваивается система координат, и на экране мы видим, какой это жест», — рассказал Алексей Приходько

Сейчас прототип переводит на уровне азбуки глухих. К защите кандидатской Алексей планирует обучить систему другим компонентам грамматики РЖЯ, чтобы в последующем довести программу уже до готового продукта для широкого использования среди глухих.

По словам заведующей лабораторией отдела специальных технологий обучения и реабилитации ИСТР Ольги Вариновой, разработка Алексея будет необходима не только для глухих, но и для обучения будущих переводчиков РЖЯ. «Сегодня есть острая нужда в таком переводчике. Словари с русского языка на русский жестовый есть, но с РЖЯ на русский — нет. Некоторые задания студенты выполняют с огромным трудом, если среди их знакомых нет глухих, которые бы могли проконсультировать и помочь. Поэтому мы так рассчитываем на разработку Алексея», — комментирует она.

Помимо переводчика РЖЯ, Алексей Приходько работает и над другими проектами. В начале июля 2019 года проект «Жестовый интерфейс» принес победу программисту и его команде на конкурсе «Цифровой прорыв» федерального проекта «Россия — страна возможностей». За 36 часов команда единомышленников разработала проект для обучения глухих на РЖЯ и попала в число потенциальных участников финала всероссийского конкурса разработчиков.

Проект «Жестовый интерфейс» участвовал в конкурсе «Цифровой прорыв», а проект «Математика в тишине» в другом конкурсе, в летней школе — 2017 Потанина.

В настоящее время Алексей Приходько ищет инвесторов, которые захотят участвовать в проекте по разработке переводчика РЖЯ. «Я бы смог доработать прототип до конечного продукта за 1—2 года, если бы кто-то готов был инвестировать. Мне не хватает сейчас ресурсов на работу над системой и кандидатской диссертацией (денежные расходы на патент, защиту и консультацию, переводчик РЖЯ)», — рассказал Алексей.

Видео работы системы Алексея Приходько

Справка

В 2013 году Алексей Приходько окончил бакалавриат на АВТФ-ИСТР НГТУ НЭТИ по специальности «Информатика и вычислительная техника». В 2015 году он получил степень магистра на факультете автоматики и вычислительной техники (АВТФ) НГТУ НЭТИ, в августе 2019 года окончил аспирантуру на кафедре автоматизированных систем управления (АСУ) университета.




Фоторепортаж


Информация для СМИ:

Юрий Лобанов, пресс-секретарь, +7-923-143-50-65, [email protected]

Алина Рунц, журналист, +7-913-062-49-28, [email protected]

Руслан Курбанов, корреспондент, +7-913-772-30-78, [email protected]



Фотограф: К. Жуков

Последние новости Новосибирской области по теме:
Глухой программист НГТУ НЭТИ обучил систему переводить жесты на русский язык и управлять компьютером без помощи мыши (видео)

- Новосибирск
Глухой программист обучил систему переводить жесты на русский язык По информации пресс-службы НГТУ НЭТИ, глухой программист Алексей Приходько завершил работу над системой, которая переводит жесты на русский язык.
15:41 06.09.2019 ГТРК Новосибирск
- Новосибирск
Выпускник НГТУ НЭТИ Алексей Приходько завершил работу над прототипом системы, которая переводит язык людей с нарушениями слуха и управляет компьютером при помощи жестов.
12:04 06.09.2019 Сибкрай.ru
Глухой программист НГТУ НЭТИ обучил систему переводить жесты на русский язык и управлять компьютером без помощи мыши (видео) - Новосибирск
В начале августа выпускник НГТУ НЭТИ завершил работу над прототипом системы, который переводит язык людей с нарушениями слуха и управляет компьютером при помощи жестов.
10:30 06.09.2019 НГТУ
 
По теме
Студенты и магистранты кафедры иностранных языков факультета гуманитарного образования НГТУ НЭТИ выступят с вокально-танцевальным флешмобом по случаю празднования Международного дня переводчика.

09.09.2019
Центр лингвистики и межкультурной коммуникации при кафедре иностранных языков факультета гуманитарного образования НГТУ НЭТИ открывает набор слушателей по программе дополнительного профессионального образования «Переводч

03.09.2019
Программа осуществляется по трем направлениям: Китайский язык Корейский язык Японский язык Срок обучения: 2 года (4 учебных семестра) По окончанию обучения выдается диплом НГТУ НЭТИ государственного образца.

02.09.2019
 
В ФНС России состоялась рабочая встреча главы Налоговой службы Даниила Егорова и председателя государственной корпорации развития «ВЭБ.РФ» Игоря Шувалова .

19.02.2020
18 февраля состоялась пресс-конференция с участием уполномоченного по защите прав предпринимателей в Новосибирской области Николая Мамулата, на которой обсуждались действия конкурсного управляющего Трофима Кузнецова,

18.02.2020
 
JPG Файл - ГУ МВД Новосибирской области 12 февраля в период времени с 18.30 до 18.45 в Железнодорожном районе в торговом центре ЦУМ, расположенном по адресу: улица Димитрова, 5, неустановленный мужчина похитил с витрины сотовый телефон,
ГУ МВД Новосибирской области
18.02.2020
Объявлены участники и главные темы фестиваля «Ново-Сибирский транзит». Театр «Красный факел», отмечающий в этом году вековой юбилей, готовится к VI Межрегиональному театральному фестивалю-конкурсу «Ново-Сибирский транзит»,
18.02.2020 Газета Ведомости
В Новосибирской области продолжается череда мероприятий, посвященных 100-летнему юбилею театра «Красный факел» – в мае стартует VI Межрегиональный театральный фестиваль-конкурс «Ново-Сибирский транзит».
18.02.2020 Сибирский репортер
Более 300 бойцов студенческих отрядов, которые оказывали помощь жителям в районах Новосибирской области, приняли участие в акции «Снежный десант», прошедшей при поддержке Правительства региона.
18.02.2020 Сибирский репортер
«Золото России снова едет в Купино» - Купинский район            С 12 по 16 февраля 2020 года в г. Сургуте состоялось первенство России по гиревому спорту среди юношей и девушек 2002 – 2003 и 2004 – 2006 г.р.
Купинский район
19.02.2020
Хоккейная «Сибирь» в драматическом матче прервала победную серию «Барыса» - ГТРК Новосибирск Новосибирская «Сибирь» в гостях переиграла «Барыс» из Нур-Султана 18 февраля в матче регулярного чемпионата КХЛ В овертайме подопечные Николая Заварухина обыграли хозяев льда со счетом 2:1.
ГТРК Новосибирск
19.02.2020
Открыть оригинальное изображение - Департамент физкультуры и спорта Новосибирцы завоевали награды первого в 2020 году этапа Кубка мира по фехтованию среди спортсменов с поражением опорно-двигательного аппарата (ПОДА).
Департамент физкультуры и спорта
18.02.2020
Учащиеся образовательного центра «Горностай» и детско-юношеского физкультурного центра «Спортивный резерв» Маргарита Кожемякина и Максим Бабушкин заняли вторые места в лыжной гонке на призы старейшего детского всероссийс
18.02.2020 Газета Навигатор
Открыть оригинальное изображение - Министерство образования 17 февраля в День Российских студенческих отрядов в Сибирском университете путей сообщения прошло торжественное закрытие Всероссийской патриотической акции «Снежный десант – Новосибирск».
Министерство образования
18.02.2020
Иван Сидоренко: «Снижение ипотечных ставок – это забота о каждой семье Новосибирской области» - Газета Эпиграф Депутаты-единороссы поддержали снижение ипотечных ставок до 6%. Снизить процентную ставку по ипотеке до 5-6% предложил секретарь генсовета партии «Единая Россия» Андрей Турчак.
Газета Эпиграф
18.02.2020
Под электротехническим оборудованием понимается комплекс устройств, приборов и узлов, с помощью которых производится, передается, распределяется, сохраняется и потребляется электроэнергия.
19.02.2020 1nsk.Ru
Пожарно-спасательные формирования ликвидировали открытое горение на пилораме в городе Куйбышев Новосибирской области, не допустив дальнейшее распространение огня на соседние здания.
18.02.2020 МЧС Новосибирской области