當前位置：首頁 - 學院 - 正文

清華開發新型唇語解讀系統有望幫助失聲人群交流

來源：懂視網責編：李菲時間：2022-03-28 18:47:13

導讀近日，清華大學機械工程系智能與生物機械團隊研發出了一種新穎的唇語解讀系統，該系統包含基于原型學習的深度學習模型和低成本、自供電的柔性摩擦電傳感器。傳感器能夠把唇部肌肉運動產生的電信號傳輸到解碼系統中，再將電信號轉化為用于溝通交流的語言。

近日，清華大學機械工程系智能與生物機械團隊和中科院北京納米能源與系統研究所團隊合作，研發出了一種新穎的唇語解讀系統，相關研究成果在線發表在《自然·通訊》期刊上。

該系統包含基于原型學習的深度學習模型和低成本、自供電的柔性摩擦電傳感器。傳感器能夠把唇部肌肉運動產生的電信號傳輸到解碼系統中，再將電信號轉化為用于溝通交流的語言。這項研究測試分析了傳感器的機械和電氣性能，采集并提取了選定元音、單詞、短語、無聲語音和發聲語音的唇動信號特征，并證實無論是否發聲，嘴唇的運動和電信號都具有一致性。

在探究語速和唇動模式等不同參數對信號特征的影響規律中，研究團隊提出了一種基于原型學習的空洞循環神經網絡模型，用于唇動信號的識別，在20個分類（100樣本/類）情況下測試準確率達到94.5%。柔性摩擦點傳感器使用柔性聚合物薄膜和柔性電極，人體佩戴舒適，在多種場景中應用時，如移動模型車的方向控制、解鎖大門的身份識別等，該系統都具備良好的可行性。