Слуховой аппарат нового поколения позволит читать по губам через медицинские маски. Новая система, способная читать по губам с поразительной точностью, даже когда говорящие носят маски.
Международная команда инженеров и специалистов в области вычислительной техники разработала технологию, которая сочетает радиочастотное зондирование с искусственным интеллектом для определения движений губ.
Система, интегрированная с традиционными технологиями для слухового аппарата, может помочь устранить так называемый «эффект коктейльной вечеринки» – распространенный недостаток традиционных слуховых аппаратов. Однако во время вечеринок широкий спектр усиления слуховых аппаратов может затруднить пользователям фокусировку на определенных звуках, например, в разговоре с конкретным человеком.
Исследования
Одним из потенциальных решений эффекта коктейльной вечеринки является создание «умных» слуховых аппаратов, которые сочетают обычное усиление звука со вторым устройством для сбора дополнительных данных.
Исследователи добились успеха в использовании камер для чтения по губам, однако, сбор видеозаписей людей без их явного согласия вызывает опасения по поводу личной неприкосновенности. Камеры также не могут читать по губам через маски, что является повседневной проблемой для людей, которые носят их в эпоху COVID-19.
Команда под руководством Университета Глазго намерена использовать передовые сенсорные технологии для чтения по губам. Эта система сохраняет конфиденциальность, собирая только радиочастотные данные, без сопутствующей видеозаписи.
Чтобы разработать систему, исследователи попросили добровольцев мужского и женского пола повторить пять гласных звуков (A, E, I, O и U) сначала без маски, а затем в ней. Когда добровольцы повторяли гласные звуки, их лица сканировались с помощью радиочастотных сигналов как от специального радарного датчика, так и от передатчика Wi-Fi.
Во время сканирования, более 3600 собранных образцов использовались для обучения алгоритмов машинного обучения и глубокого обучения, для распознавания характерных движений губ и рта, связанных с каждым гласным звуком. Ну, а поскольку радиочастотные сигналы могут легко проходить через маски добровольцев, значит алгоритмы могут научиться считывать формирование гласных у пользователей в масках.
Вывод
Система оказалась способной правильно читать по губам добровольцев большую часть времени. Данные Wi-Fi были правильно интерпретированы алгоритмами обучения. До 95% времени для немаскированных губ и 80% для замаскированных. Между тем, данные радара были правильно интерпретированы до 91% без маски и в 83% случаев с маской.
Читайте в рубрике Интересные заметки много других интересных заметок.
