modal(modal verb)

光明日报记者刘强剑

这个寒假，一群聋人大学生成为了冬奥会的长跑志愿者。他们来自天津理工大学聋人学院。这些志愿者将电视新闻栏目的内容转换成手语文本，为冬奥会转播中需要的AI(人工智能)手语数字人提供大规模语料库支持。

天津理工大学聋人工程学院副院长袁是这些听障大学生的老师，也是无障碍智能技术研发中心的成员。她介绍:“无障碍智能科技R&D中心将为冬奥会直播提供AI手语数字人的手语语料库支持。我和我的学生为此忙了两个多月。为冬奥会服务，我们充满了荣誉。”

教授人工智能认知手语

2021年，在中国聋人高等工程教育成立30周年纪念大会上，一个“手语角”吸引了很多人驻足。只要在镜头前打手语，你身后的显示屏上就会出现语义连贯的文本翻译。袁展示了“鲸语——多模态连续手语自动标注与识别系统”(以下简称“鲸语”)项目，该项目被称为“复杂场景下实时中文手语翻译系统”。据介绍，在光线充足且稳定的房间内，系统对手语的识别率最高可达95%，部分场景可实现“同步翻译”。开发这个系统的目的是让每一个有听力的人都能很容易地理解手语。其自动标注识别系统“鲸鱼会说话”也在去年第七届中国国际“互联网+”大学生创新创业大赛中获得了主赛道金奖。

王建元是R&D队的成员。他是一个聋哑儿童，生长在一个聋哑家庭。他听力损失严重，发单词和发音都很困难。手语是他与世界打交道的第一个也是最有效的方式。22年来，失聪并没有让他自卑；不会说话，也不耽误他成为一个正经的“学霸”；但如果你问他从小因为听力障碍遇到了什么样的不便，他会很淡定地在手机上打出四个字:各方面——因为懂手语的人太少了。

最典型的例子之一就是看病。如果没有手语翻译，哪怕只是头疼脑热，一个“手语族”王力可建院也很难独自看病——大部分医生不会手语。

从1991年9月11日第一批6名聋人学生入学到今天，天津理工大学聋人学院的老师们积累了大量与聋人交流的经验。

袁主修计算机科学。2006年研究生一毕业，她就在聋人技术学院计算机科学与技术系工作。上班的第一天，她面临着学习手语的挑战。通过读字读唇，学生可以了解老师，但老师并不能很快了解学生。跌跌撞撞学手语，袁记不清有多少次陪学生看病到凌晨一两点，帮忙做手语翻译。

中国有2780万聋人。怎样才能依靠科技的力量让健康的人进入他们的世界？袁、、等人开始了“鲸鱼会说话”实时手语翻译系统的研发。

“鲸鱼会说话”手语实时翻译类似于“语音输入法”的手语版本。但后者是语音的输入，机器识别，转换成文字，而前者是手语动作和表情的输入，机器识别。

要把人工智能训练成一名合格的手语翻译，我们得把手势、表情、大身体动作从视频转换成数据，然后“教”给计算机。所以，能充分理解和展现手语之美的听障学生，是最适合做人工智能“老师”的人。

国外很多团队建立的手语数据集无法支持复杂场景下的手语翻译。一个直接原因是找不到足够多的人在自然状态下收集手语。“我们的团队得到了聋人技术研究所的支持。很多成员本身就是手语使用者，在自然手语的采集上有优势。”袁对说:

听障者更重要的是“读懂”听障者

在冬奥会上，袁团队服务的AI手语数字人可以帮助聋人更好地理解听力正常人的表达。“鲸语”手语的识别和翻译，就是借助科技的力量，帮助听力正常的人更好地理解聋人的表达。两者有什么区别？

做一个AI手语数字人，就是让聋人用熟悉的方式理解听力正常人的表情。核心研发点是手语生成，而“鲸语”手语识别和翻译的核心研发点是手语识别，难度更大。“鲸鱼会说话”需要两项技术:计算机视觉和自然语言识别。聋人的手语包括表情、手部动作、肢体动作，这些都需要计算机融合识别，这就是计算机识别技术；它是一种自然语言识别处理技术，通过计算机程序把计算机识别的信息变成听觉人熟悉的语言模式。AI手语数字人，某种程度上只涉及自然语言识别处理的技术流程。从技术转化的角度来看，AI手语数字人产业落地时间会更短，数据投入相对较少，更容易将成果市场化。

“你为什么一定要做手语翻译？聋子听不见，现在有语音识别了！有的聋人不会说话，就不能用手机打字吗？”有企业从元了解到正在研发的实时手语翻译系统，想谈投资。但谈完之后，他们对项目的必要性提出了质疑，觉得手语翻译除了“做好事”没有其他意义。为什么要致力于“鲸语”的研发和转化？

“在和学生交流的过程中，我知道对残疾人最好的关心就是平等。他们不是残疾人，只是和我们不一样。”袁对说:

交流总是双向的。我们教听障人士写字、读单词和读唇语。他们试图融入听障人士的世界。我们听障人也应该为理解和接纳听障人做出一些努力。

袁说，直到今天，手语仍然是许多听力障碍者最自然、最高效的表达方式，“比写字和打字都快”。但是，为了促进无障碍交流，要求所有听力正常的人都学习手语显然是不现实的。“鲸鱼会说话”手语实时翻译系统就是利用高科技，让听障人士尽量靠近听障人士。

《光明日报》(2022年01月12日08版)

来源:光明网-光明日报

本文标题：modal(modal verb)

本文地址：https://www.xbwxq.com/a/22004.html

本文来自投稿，仅供学习参考！不代表本站立场，该文观点仅代表原作者本人，本站不拥有所有权，不承担相关法律责任。如发现本站有抄袭侵权/违规的内容，请发送邮件至8###7@qq.com举报，一经查实，本站将立刻删除。

modal(modal verb)

相关推荐