适合听障人士参与的多人会议方法、系统及装置制造方法及图纸

本发明专利技术涉及信息处理技术领域，具体公开了一种适合听障人士参与的多人会议方法，包括利用位置指定模块，建立与会人员模型数据并传送到微处理器；如果信息采集装置采集到声音，微处理器将声音信号转换成文字或手语图像信号通过图文输出装置输出；如果信息采集装置采集到手语图像，微处理器将手语图像信号转换成语音信号通过语音输出装置输出；微处理器记录发言者的ID和发言内容。一种多人会议装置，包括设有微处理器及触控显示屏的壳体，响应并发送目标方向信息的位置模拟模块，获取指定方向声源声音的语音采集模块，剔除噪声的语音预处理模块，翻译除噪后的声音信号的语音翻译模块，手语翻译模块以及控制进入不同翻译转换模式的位置指定模块。的位置指定模块。的位置指定模块。

【技术实现步骤摘要】
适合听障人士参与的多人会议方法、系统及装置


[0001]本专利技术涉及信息处理
，特别是涉及一种适合听障人士参与的多人会议方法、系统及装置。

技术介绍

[0002]听障人士是指有听力障碍病症的群体，听觉的丧失为听障人士的生活和工作带来了诸多不便，他们往往需要借助手语或文字才能相互沟通或与外界群体进行交流，随着听障人士越来越多的参与到现代社会工作中的同时，听力健全的群体通过手语表达的能力并未有明显的提升，而时刻借助文字与听障人士沟通的效率较低，这样一来，当听障人士身处会议中时，难以及时有效获取外部的语音信息，为生活和工作带来了极大的不便。

技术实现思路

[0003]基于此，有必要针对听障人士与外界沟通效率较低的问题，提供一种适合听障人士参与的多人会议方法、系统及装置。
[0004]一种适合听障人士参与的多人会议方法，采用的系统包括：用于确定参会或发言者位置的位置指定模块；用于获取指定位置人员声音或图像的信息采集装置，包括语音采集模块以及图像采集模块；与位置指定模块和信息采集装置连接的微处理器，以及输出微处理器输出图文信号的图文输出装置和输出微处理器输出的语音信号的语音输出装置；
[0005]所述方法包括以下步骤：
[0006]S1)利用位置指定模块，建立与会人员模型数据并传送到所述微处理器；
[0007]S2)如果信息采集装置采集到声音，所述微处理器将声音信号转换成文字或手语图像信号通过图文输出装置输出；
[0008]S3)如果信息采集装置采集到手语图像，所述微处理器将手语图像信号转换成语音信号通过语音输出装置输出；
[0009]S4)微处理器记录发言者的ID和发言内容。
[0010]在其中一个实施例中，所述与会人员模型数据包括人员ID、位置信息、发言类型以及权限信息，其中位置信息用于所述信息采集装置精准采集其手语或语音信号，所述ID用于微处理器记录具体位置对应发言者ID，所述发言类型包括语音发言和手语发言，用于微处理器识别和自动启用对应的转换过程，所述权限信息用于微处理器决定哪个位置优先发言。
[0011]在其中一个实施例中，所述步骤S2包括：识别出某一位置发言者是语音发言类型，启动语音采集模块对准发言者位置，由语音采集模块定向采集对应位置的语音信号给微处理器，将语音信号记录并转换成手语图像输出以及转换成文字信号加以保存；所述步骤S3包括：识别出某一位置发言者是手语发言类型，启动图像采集模块对准发言者位置，由图像采集模块定向采集对应位置的手语图像信号给微处理器，将手语信号记录并转换成语音输出以及转换成文字信号加以保存。
[0012]在其中一个实施例中，所述步骤S2包括：
[0013]步骤S21：由位置模拟模块建立场景声源模型，预设不同方位的声源的方向参数；
[0014]步骤S22：根据所述场景声源模型选择目标声源的方向参数，并由语音采集模块定向采集该方向的声音信息；
[0015]步骤S23：采用语音预处理模块剔除所述声音信息中的噪声部分，噪声的判断标准为低于或高于预定频率范围以及低于预定振幅的声音；
[0016]步骤S24：语音翻译模块将除噪后的声音分帧，识别为状态点并进行组合以形成手语图像或文字进行输出和显示；
[0017]所述步骤S3包括：步骤S31：在手语识别模块内预设不同手语动作所对应的语义编码内容，形成编码库；
[0018]步骤S32：图像采集模块获取听力障碍与会人员做出的手语动作影像；
[0019]步骤S33：手语识别模块按照时间发生的先后顺序将手语动作影像等分为若干段，将每一段影像分别与所述编码库内的编码内容进行比对判断，获得若干词条，并组合成句，形成翻译内容；
[0020]步骤S34：将所述翻译内容以声音信号形式进行播放。
[0021]本专利技术还公开了一种适合听障人士参与的多人会议装置，其特征在于，包括，
[0022]壳体，所述壳体的内腔设有用于记录与会人员的ID信息、进行数据处理与控制的微处理器，所述微处理器还用于判断发言类型，并控制所述装置进入不同的翻译转换模式，所述壳体的外表面安装有用于接收用户输入的目标声源方向指令以及显示语音翻译内容的触控显示屏；
[0023]位置指定模块，用于确定参会或发言者位置，并确定人员ID、发言类型以及权限信息；
[0024]位置模拟模块，预设有具有不同方位声源方向参数的场景声源模型，用于在所述触控显示屏接收方向指令时响应并将目标方向信息发送至所述微处理器；
[0025]语音采集模块，用于在所述微处理器判断为语音发言情景时，在所述微处理器的控制下获取指定方向声源发出的声音信息；
[0026]声音屏蔽模块，用于在所述语音采集模块工作时，屏蔽与指定方向不同的其余方向的声音信号；
[0027]语音预处理模块，用于剔除所述语音采集模块获取的声音信息中的噪声部分，并将除噪后的声音信号发送至所述微处理器，噪声的判断标准为低于或高于预定频率范围以及低于预定振幅的声音；
[0028]语音翻译模块，用于在所述微处理器的控制下对除噪后的声音信号进行翻译，将翻译结果回传至所述微处理器以进一步发送至所述触控显示屏显示；
[0029]手语翻译模块，包括图像采集模块以及手语识别模块，所述图像采集模块用于在所述微处理器判断为手语发言情景时，在所述微处理器的控制下获取听力障碍与会人员手语动作并将手语动作图像发送至所述手语识别模块进行处理并翻译成语音信号传输至外部麦克风播放；以及
[0030]存储模块，用于存储所述语音翻译模块或所述手语翻译模块的翻译结果。
[0031]在其中一个实施例中，所述语音采集模块包括沿所述壳体外表面周向设置的多个
的声音采集器，所述微处理器内预存有每一个所述声音采集器的方向参数，所述微处理器在接收所述位置模拟模块发送的声源的目标方向信息时，控制与所述声源的目标方向对应的所述声音采集器获取环境声音信息。
[0032]在其中一个实施例中，还包括声源定位模块，用于在感应到预设内容的声音时，获取声源的方向信息，并将该方向信息发送至所述微处理器以调用相应的声音采集器。
[0033]在其中一个实施例中，还包括存储模块，用于存储所述语音翻译模块的翻译结果，所述微处理器在接收外部阅读指令时，向所述存储模块查询预定的翻译内容并将翻译内容传送至所述触控显示屏显示。
[0034]在其中一个实施例中，所述语音翻译模块内设置有多语言插件，用于将除噪后的声音信号翻译为多种语言文字。
[0035]本专利技术还公开了一种包含上述装置的适合听障人士参与的多人会议系统，还包括，服务器，与所述装置通讯连接；云台摄像头，包括用于获取会场声源方向的声音感应器以及接收所述声音感应器传输的位置信息、转向所述声源方向并获取发言视频的摄像头主体；以及音频插件或音频设备，与服务器连接；麦克风，用于播放所述音频插件或音频设备的信息并播放由所述装置的手语识别模块传送的手语翻译内容。
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种适合听障人士参与的多人会议方法(10)，其特征在于，采用的系统包括：用于确定参会或发言者位置的位置指定模块；用于获取指定位置人员声音或图像的信息采集装置，包括语音采集模块以及图像采集模块；与位置指定模块和信息采集装置连接的微处理器(220)，以及输出微处理器(220)输出图文信号的图文输出装置和输出微处理器(220)输出的语音信号的语音输出装置；所述方法包括以下步骤：S1)利用位置指定模块，建立与会人员模型数据并传送到所述微处理器(220)；S2)如果信息采集装置采集到声音，所述微处理器(220)将声音信号转换成文字或手语图像信号通过图文输出装置输出；S3)如果信息采集装置采集到手语图像，所述微处理器(220)将手语图像信号转换成语音信号通过语音输出装置输出；S4)微处理器(220)记录发言者的ID和发言内容。2.根据权利要求1所述方法，其特征在于，所述与会人员模型数据包括人员ID、位置信息、发言类型以及权限信息，其中位置信息用于所述信息采集装置精准采集其手语或语音信号，所述ID用于微处理器(220)记录具体位置对应发言者ID，所述发言类型包括语音发言和手语发言，用于微处理器(220)识别和自动启用对应的转换过程，所述权限信息用于微处理器(220)决定哪个位置优先发言。3.根据权利要求2所述方法，其特征在于，所述步骤S2包括：识别出某一位置发言者是语音发言类型，启动语音采集模块对准发言者位置，由语音采集模块定向采集对应位置的语音信号给微处理器(220)，将语音信号记录并转换成手语图像输出以及转换成文字信号加以保存；所述步骤S3包括：识别出某一位置发言者是手语发言类型，启动图像采集模块对准发言者位置，由图像采集模块定向采集对应位置的手语图像信号给微处理器(220)，将手语信号记录并转换成语音输出以及转换成文字信号加以保存。4.根据权利要求3所述方法，其特征在于，所述步骤S2包括：步骤S21：由位置模拟模块(240)建立场景声源模型，预设不同方位的声源的方向参数；步骤S22：根据所述场景声源模型选择目标声源的方向参数，并由语音采集模块(250)定向采集该方向的声音信息；步骤S23：采用语音预处理模块(270)剔除所述声音信息中的噪声部分，噪声的判断标准为低于或高于预定频率范围以及低于预定振幅的声音；步骤S24：语音翻译模块(280)将除噪后的声音分帧，识别为状态点并进行组合以形成手语图像或文字进行输出和显示；所述步骤S3包括：步骤S31：在手语识别模块(292)内预设不同手语动作所对应的语义编码内容，形成编码库；步骤S32：图像采集模块(291)获取听力障碍与会人员做出的手语动作影像；步骤S33：手语识别模块(292)按照时间发生的先后顺序将手语动作影像等分为若干段，将每一段影像分别与所述编码库内的编码内容进行比对判断，获得若干词条，并组合成句，形成翻译内容；
步骤S34：将所述翻译内容以声音信号形式进行播放。5.一种适合听障人士参与的多人会议装置(20)，其特征在于，包括，壳体(210)，所述壳体(210)的内腔设有用于记录与会人员的ID信息、进行数据处理与控制的微处理器(220)，所述微处理器(220)还用于判断发言类型，并控制所述装置(20)进入不同的翻译转换模式，所述壳体(210)的外表面安装有用于接收用户输入的目标声源方向指...

【专利技术属性】
技术研发人员：邱浩海，
申请(专利权)人：深圳市声活科技文化有限公司，
类型：发明
国别省市：