Беспроводная и гибкая: новая перчатка переводит жесты в речь в реальном времени

Учёные разработали лёгкую и гибкую перчатку, которая работает как переводчик с языка жестов на обычный язык. Система может сделать гораздо более комфортной жизнь людей, которые по тем или иным причинам не могут говорить.

Достижение описано в научной статье, опубликованной в журнале Nature Electronics.

В новом изобретении инженеров гибкие датчики, встроенные в тонкие и удобные перчатки, отслеживают движение каждого из десяти пальцев. Также в систему "перевода" входят две наклейки на лицо: одна располагается между бровями и одна – сбоку от рта. Дело в том, что мимика является частью американского языка жестов (амслена).

Данные о движениях "говорящего" отправляются на чипы размером около 2,5 сантиметра (по одному на каждой перчатке). Тот передаёт их по беспроводной связи на обычный смартфон, на котором установлено специальное приложение с искусственным интеллектом. В результате жестовая речь превращается в звуковую в режиме реального времени.

В испытаниях участвовали четыре глухих добровольца. Они использовали 660 жестов, означающих все буквы латинского алфавита, цифры от 0 до 9, а также целые слова и фразы. Устройство переводило эту речь на обычный американский английский язык. Как выяснилось, программа правильно интерпретировала жесты в 99% случаев, затрачивая на расшифровку каждого из них менее секунды.

Инженеры считают, что 660 знаков – это только начало. Коммерческие модели устройства будут иметь куда более солидный "словарный запас".

Разработчики также подчёркивают, что новая система очень легка и удобна в ношении. Этим она отличается от более громоздких аналогов.

Кроме того, отмечается, что материалы, из которых изготовлены перчатки и наклейки, долговечны и дёшевы в изготовлении.

Новинка может серьёзно облегчить жизнь людям, которые по тем или иным причинам не могут пользоваться звуковой речью. Ведь собеседнику не нужно будет знать язык жестов, чтобы понять, что ему хочет сказать носитель чудо-перчаток.

Правда, в мире довольно много людей, которые не могут не только говорить, но и слышать. Им подобная разработка поможет лишь частично, ведь остаётся вопрос, как им самим понять собеседника, не владеющего жестовой речью. Впрочем, значительная часть глухих и слабослышащих людей умеет читать по губам. Этот навык в сочетании с новыми перчатками может обеспечить полноценный диалог с человеком, не умеющим общаться жестами.

С другой стороны, устройство можно использовать и для обучения нормально слышащего человека языку жестов. Система будет в реальном времени сообщать учащемуся, говорит ли он на этом языке именно то, что хочет сказать. Это позволит всем желающим эффективно тренироваться при минимальном участии человека-инструктора. А чем больше в мире будет людей, владеющих языком жестов, тем комфортнее он будет для тех из нас, кто может общаться только на этом языке.

Отметим, что на данный момент система переводит только амслен на американский звуковой английский. Адаптация к другим языкам потребует как минимум обучения искусственного интеллекта на новом массиве данных (а подготовка такого массива – это, как правило, очень трудоёмкий процесс). Может случиться и так, что придётся переписывать код программы. Но во всяком случае "железо" наверняка останется неизменным, а это уже полдела.

Ранее Вести.Ru рассказывали о другой системе перевода жестов в звуки. Писали мы и о наклейке на горло, призванной заменить голосовые связки.