A method for converting audio into sign language animation with custom 3D characters includes the following steps: 1) data set generation: simulate all vocabulary sets of different sign language with two monochromatic infrared cameras and three infrared LEDs, and store them in memory; 2) audio acquisition: read audio waveform with high-quality microphone, and then use analog-to-digital converter or 8-bit pulse width Modulation, generating digital input prompt for computer for model training, testing and verification; 3) output processing: generating sign language related to input audio, displaying sign language animation made by 3D characters on the display, with text subtitles attached. The invention can assist the person with \hearing loss\ to understand the audio content in time.
【技术实现步骤摘要】
一种将音频转换为带有自定义3D角色的手语动画的方法
本专利技术涉及人工智能领域，使用机器学习技术，将任何给定的音频内容转换为可定制的3D角色的手语动画的方法。
技术介绍
一个无法像正常人一样接收声音的(这类人双耳听力阈值为25分贝或更高)，就被称为“听力损失”者；“重听”指的是听力受损程度从轻微到严重不等的人。而“聋人”大多有严重的听力损失，这意味着或听力很弱或完全丧失。全世界约有4.66亿人丧失了听力，这超过世界人口的5％。据估计，到2050年，将有超过9亿人，也就是说每10人中就有1人丧失听力。这个庞大而重要的社群需要特别照顾，他们需要手语翻译以了解周围发生的事，尤其是公共场所中带有指导和建议的音频内容，如下：a.公共汽车上搭载的音响系统(广播当前汽车站的位置或车站的名称)。b.铁路客车和车站有相同的音响系统，能广播到达城市或者车站的名称、列车时刻、延误等信息。c.飞行安全须知、机场广播等。d.火灾、地震、战争等紧急警报。e.视频和语音通话，或电脑和智能设备中的任何音频内容...
【技术保护点】
1.一种将音频转换为带有自定义3D角色的手语动画的方法，其特征在于，所述方法包括以下步骤：/n1)数据集生成：使用两个单色红外摄像机和三个红外LED模拟不同手语语言的所有词汇集，并将其存储在内存中；/n2)音频采集：用高质量的麦克风读取音频波形，然后使用模数转换器或8位脉冲宽度调制，为计算机产生数字输入提示，以进行模型训练，测试和验证；/n3)输出处理：生成相关输入音频的手语，在显示器上显示的3D角色做出的手语动画，并附带有文字字幕。/n
【技术特征摘要】
1.一种将音频转换为带有自定义3D角色的手语动画的方法，其特征在于，所述方法包括以下步骤：
1)数据集生成：使用两个单色红外摄像机和三个红外LED模拟不同手语语言的所有词汇集，并将其存储在内存中；
2)音频采集：用高质量的麦克风读取音频波形，然后使用模数转换器或8位脉冲宽度调制，为计算机产生数字输入提示，以进行模型训练，测试和验证；
3)输出处理：生成相关输入音频的手语，在显示器上显示的3D角色做出的手语动画，并附带有文字字幕。
2.如权利要求1所述的将音频转换为带有自定义3D角色的手语动画的方法，其特征在于，所述步骤2)中，训练好的模型用于RaspberryPi计算机，基于RaspberryPi3B及以上或基于iOS和Android操作系统的智能手机应用程序。
3.如权利要求1或2所述的将音频转换为带有自定义3D角色的手语动画的方法，其特征在于，所述步骤2)中，模型训练包括以下步骤：
2.1.构建3D动画数据集；
...
【专利技术属性】
技术研发人员：穆斯塔法，艾扎达，李业芃，姚凯，阿克巴，
申请(专利权)人：浙江工业大学，
类型：发明
国别省市：浙江;33
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。