如今，对于听力受损的人群来说，那些听不到的声音现在可以通过触摸来感知。

“触摸”听不到的言语，是由东京大学和索尼计算机科学研究所（CSL）共同研发的AI系统“Derma”实现的。有了Derma系统，只需要在喉咙周围贴上传感器，利用喉咙和下颚的皮肤震动，就可以将口型转化为语音。

现阶段，治疗听力障碍的主要手段包括：

• 药物治疗：通过静脉点滴或局部用药（如激素、抗生素、抗病毒药物等）减轻炎症，使听力尽快恢复；
• 手术治疗：主要针对外耳和中耳畸形、各种压迫咽鼓管的疾病以及耳部外伤等进行手术；
• 仪器辅助：如助听器（听力损失程度≤80分贝）和人工耳蜗（听力损失程度>80分贝）。

其中，人工耳蜗植入是目前让重度和极重度耳聋患者恢复听力的唯一有效方法。

雷锋网了解到，早在1957年，法国科学家首次将电极植入一位全聋患者的耳蜗内，使其能够感知周围的环境声音。直到上世纪90年代，人工耳蜗进入临床应用阶段，给极重度耳聋患者带来了新的希望。

实际上，人工耳蜗的发展离不开电子技术、计算机技术、语音学、电生理学、材料学和耳显微外科学的进步。在这些学科兴起和发展之前，针对听力障碍患者，科学家们提出的应对措施是一种称为Tadoma的触诊唇读法。这种方法是指听力障碍患者通过用手指触摸说话者的嘴唇、下巴和颈部来读取说话者想要表达的内容。

而日本团队研发的AI系统Derma的灵感正是来源于Tadoma。

通过机器学习将Tadoma自动化

该团队的设计是将Tadoma疗法的过程通过机器学习实现自动化。原理上，如图所示，在喉咙周围贴上一个加速度/角速度传感器，获取无声发声时下颚和舌肌运动引起的从下颚到喉咙的皮肤震动信息，采用深度学习进行分析识别，最终实现将无声语音转换为语音输入的无声语音交互（Silent Speech Interaction，SSI）。

雷锋网注意到，该传感器可以获取12维的皮肤运动信息，深度学习可以分析和识别35种发声类型。实验表明，识别皮肤震动信息的准确度超过94%。

值得一提的是，研究团队在训练模型时使用了连接时间分类（Connectionist Temporal Classification, CTC）。

实际上，在训练语音识别器的过程中，受说话者语速等因素影响，将输入与输出对齐是一个难点。为了解决这个问题，连接时间分类发挥了作用。

在形态上，与现有的某些无声语音交互设备相比，这个设备体积小、重量轻且不显眼。此外，该系统耗电量低，不易受到环境亮度等因素的影响，不会影响佩戴者的正常生活，可以说非常实用。

此外，研究团队表示，转换后的语音合成不仅可以输入到具有语音识别功能的数字设备（如语音助手），还能帮助有言语障碍的患者进行交流。

未来，该团队的研究方向将是可穿戴电子设备和体内嵌入式计算的集成。

基于AI的无声语音交互

近年来，无声语音交互领域蓬勃发展。当前产业和学界在这个领域的思路主要有两条：一种是通过感知气流来识别话语（气流采集），另一种是通过感知肌肉运动的方式来识别话语（EMG信号采集）。以下是该领域发展的大致时间线：

• 2009年，麻省理工学院感知交流组研发了一款触觉设备，克服了读唇语无法清晰识别的问题，成本远低于人工耳蜗植入手术；
• 2016年，牛津大学人工智能实验室、谷歌DeepMind和加拿大高级研究院（CIFAR）联合开发了结合深度学习技术的唇读程序LipNet；
• 2016年，DeepMind通过1万小时的新闻视频训练，将AI唇读准确率提升至46.8%；
• 2019年，世界知识产权组织发布了微软申请的“无声语音输入”（Silent Voice Input）专利，拓展了“机器听懂人话”的应用场景；
• 2020年3月，浙江工业大学、中科院计算技术研究所智能信息处理重点实验室及中国科学院大学共同提出在部分特征层和全局序列层上引入互信息约束，增强口型特征与语音内容的关系，将计算机唇读精度提升至84.41%。

实际上，无声语音识别不仅可以帮助听力和言语障碍的人群，也适用于包括灾难现场、舱外探索、水下作业、工厂车间在内的场景。

然而，无声语音交互设备要成为消费级产品，还需要进一步打磨。正如微软全球资深技术院士、微软云与人工智能事业部负责人黄学东博士所说：“公开的测试和已发表的学术文章虽然不能与现实完全割裂，但与消费级产品和商业场景相比，仍需要不同的评判标准。”

关于索尼CSL

正如前文所述，Derma由东京大学和索尼CSL共同研发。

雷锋网了解到，索尼CSL成立于1988年，作为索尼公司的“创新工厂”，广泛涉及计算机科学、生命科学、脑科学和经济学等多个领域。当前索尼CSL的研究方向包括“全球议程”（涵盖能源、食品和医疗保健等领域）、“人类增强”（包括探索人类创造力和人机交互/集成的研究）与“网络智能”（AI）。

2019年11月，索尼宣布成立索尼AI部门，以“应用AI激发人类的想象力和创造力”为使命，旨在推动AI技术的基础研发，而索尼CSL总裁兼CEO Hiroaki Kitano便是索尼AI的全球负责人。