一种数据处理方法和数据处理设备技术

本申请实施例公开了一种数据处理方法和数据处理设备，用于提高聋哑人与普通人的信息交互过程中的识别语言信息的准确度。本申请实施例方法包括：数据处理设备获取当前会话中第一数据采集设备的主数据和辅数据，所述主数据和所述辅数据为在空间和/或内容上互补的数据，所述当前会话中包括至少两个数据采集设备，所述第一数据采集设备为所述至少两个数据采集设备中的任意一个；所述数据处理设备对所述主数据和所述辅数据进行融合识别得到对应的目标数据。

【技术实现步骤摘要】
一种数据处理方法和数据处理设备
本申请涉及终端领域，尤其涉及一种数据处理方法和数据处理设备。
技术介绍
聋哑人与普通人交流主要通过手语，而现实中懂手语的普通人很少，这就造成了聋哑人与不懂手语的普通人之间交流存在巨大障碍。要解决这个障碍，技术上需要完成手语识别和手语合成两个处理。目前在手语识别方面，当前业界主要通过Kinect等影像设备或者可穿戴设备来完成手语跟踪采集，通过算法/神经网络/样本库的方法完成识别，并通过平板/电脑等设备播放声音，用于解决聋哑人讲话普通人不懂的问题。在手语合成方面，也是通过Kinect等影像设备或者可穿戴设备来完成语音或文字采集，然后把语音或者文字转化为聋哑人能识别的手语，并通过卡通手语等数字化方式在平板等设备显示呈现出来，用于解决普通人讲话聋哑人听不见的问题。即目前的技术方案中手语信息或语言信息通常仅为单一的数据或单一设备采集的数据，比如，手语信息仅由单一的摄像头进行采集，而由于单一摄像头获取的手势信息有限，进而导致手语信息的识别不够精确。
技术实现思路
本申请实施例提供了一种数据处理方法和数据处理设备，用于提高聋哑人与普通人的信息交互过程中的识别语言信息的准确度。第一方面，本申请提供一种数据处理设备，应用于聋哑人与正常人的当前会话场景，该当前会话包括至少两个数据采集设备。包括：该数据处理设备获取该当前会话中的第一数据采集设备的主数据和辅数据，该主数据和该辅数据为在空间和/或内容上互补的数据，该第一数据采集设备为该至少两个数据采集设备中的任意一个；然后该数据处理设备根据该主数据和该辅数据融合识别该主数据对应的目标数据。本申请中该数据采集设备可以为增强现实(AugmentedReality，AR)眼镜，数据处理设备可以为AR眼镜连接的服务器。当然，本申请提供的技术方案也可以应用在别的设备上，只要具备上述功能即可，具体此处不做限定。本申请提供的技术方案中，该数据处理设备在识别该第一数据采集设备的主数据时，将该主数据和与该主数据在空间和/或内容上互补的辅数据进行融合识别，这样增加了主数据的识别信息，提高了聋哑人与普通人的信息交互过程中的识别语言信息的准确度。可选的，本申请中该数据处理设备根据该主数据和辅数据进行融合识别时可以采用如下几种可能实现方式：一种可能实现方式中，若该主数据为深度摄像头采集的手势数据，该辅数据为平面摄像头采集的手势数据，则该数据处理设备首先将该主数据与该辅数据进行时间同步处理；然后该数据处理设备会根据该深度摄像头采集的手势数据识别出手势轨迹作为该第一数据，并根据该平面摄像头采集的手势数据识别出手形细节作为该第二数据；然后该数据处理设备将该手势轨迹与该手形细节进行组合识别得到手语数据；该数据处理设备通过手语识别算法识别该手语数据得到文字数据，并将该文字数据作为该目标数据。基于此种实现方式中，在该当前会话中，若该数据处理设备确定该第一数据采集设备对应的第一会话参与者为当前讲话人，即该数据处理设备确定该聋哑会话参与者为该当前讲话人，则该数据处理设备将该文字数据发送给该当前会话中的正常会话参与者对应的数据采集设备，该正常会话参与者对应的数据采集设备将播放该文字数据给该正常会话参与者，以使得该正常会话参与者可以获取到该聋哑会话参与者的语言信息。可选的，该数据处理设备还可以将该文字数据或该手语数据发送给该当前会话中的聋哑会话参与者对应的数据采集设备，该聋哑会话参与者对应的数据采集设备将为该聋哑会话参与者播放该手语数据，该手语数据由该数据处理设备将该文字数据与用于记录文字与手语的对应关系的预置数据库进行匹配得到。另一种可能实现方式中，若该主数据为深度摄像头采集的手势数据，该辅数据为平面摄像头采集的手势数据，即该第一数据采集设备对应的第一会话参与者为聋哑会话参与者，则该数据处理设备首先将该主数据与该辅数据进行时间同步处理；然后该数据处理设备会根据该深度摄像头采集的手势数据识别出手势轨迹作为该第一数据，并根据该平面摄像头采集的手势数据识别出手形细节作为该第二数据；然后该数据处理设备将该手势轨迹与该手形细节进行组合识别得到手语数据；该数据处理设备通过手语识别算法识别该手语数据得到文字数据；然后该数据处理设备将该文字数据通过语音合成技术合成音频数据，然后将该音频数据作为该目标数据。基于此种实现方式中，在该当前会话中，若该数据处理设备确定该第一数据采集设备对应的第一会话参与者为当前讲话人，即该数据处理设备确定该聋哑会话参与者为该当前讲话人，则该数据处理设备将该音频数据发送给该当前会话中的正常会话参与者对应的数据采集设备，该正常会话参与者对应的数据采集设备将播放该音频数据给该正常会话参与者，以使得该正常会话参与者可以获取到该聋哑会话参与者的语言信息。可选的，该数据处理设备还可以将该文字数据或该手语数据发送给该当前会话中的聋哑会话参与者对应的数据采集设备，该聋哑会话参与者对应的数据采集设备将为该聋哑会话参与者播放该手语数据，该手语数据由该数据处理设备将该文字数据与用于记录文字与手语的对应关系的预置数据库进行匹配得到。在实际应用中，该数据处理设备可以向该聋哑会话参与者发送手语数据也可以向该聋哑会话参与者发送文字数据也可以两者都发送，只要可以保证该当前会话中的聋哑会话参与者可以明白当前会话的语言信息即可，具体方式此处不做限定。本申请上述两种可能实现方式中，该聋哑会话参与者为作为当前讲话人的聋哑会话参与者。在实际应用中，该数据处理设备将该手语数据发送给作为当前讲话人的聋哑会话参与者对应的数据采集设备，即本申请中的该第一数据采集设备时，该作为当前讲话人的聋哑会话参与者在该第一数据采集设备播放了该手语数据之后，该作为当前讲话人的聋哑会话参与者可以判断该手语数据与自己想表达的意思是否相同，若相同，则该作为当前讲话人的聋哑会话参与者可以向该数据处理设备发送用于指示该数据处理设备对该主数据识别正确的反馈信息；若不相同，该作为当前讲话人的聋哑会话参与者可以向该数据处理设备发送用于指示该数据处理设备对该主数据识别错误的反馈信息并重复刚才的讲话。另一种可能实现方式中，若该主数据为音频数据，该辅数据为包含唇语信息的视频数据；则该数据处理设备首先将该主数据与该辅数据进行时间同步处理；然后该数据处理设备将根据该音频数据得到第一语音序列作为该第一数据并实时计算峰值信噪比，同时该数据处理设备将根据该唇语信息得到第二语音序列作为该第二数据；然后该数据处理设备根据该峰值信噪比，该第一语音序列和该第二语音序列确定文字信息；最后该数据处理设备将该文字信息与用于记录文字与手语的对应关系的预置数据库进行匹配得到手语数据，并将该手语数据作为目标数据。可选的，本申请中，该数据处理设备在根据该峰值信噪比，该第一语音序列和该第二语音序列确定该文字信息时，该数据处理设备可以采用如下方案：一种可能实现方式中，该数据处理设备对该峰值信噪比设置第三阈值，即该数据处理设备在确定该峰值信噪比大于该第三阈值时，则该数据处理设备将该第一语音序列进行语句和语义分析生成该文字信息；若该数据处理设备确定该峰值信噪比小于或等于该第三阈值，则该数据处理设备将该第二语音序列进行语句和语义分析生成该文字信息。本申请中，在该数据处理设备对该峰值信噪比设置该第本文档来自技高网...

【技术保护点】
1.一种数据处理方法，其特征在于，所述方法包括：数据处理设备获取当前会话中第一数据采集设备的主数据和辅数据，所述主数据和所述辅数据为在空间和/或内容上互补的数据，所述当前会话中包括至少两个数据采集设备，所述第一数据采集设备为所述至少两个数据采集设备中的任意一个；所述数据处理设备对所述主数据和所述辅数据进行融合识别得到对应的目标数据。

【技术特征摘要】
1.一种数据处理方法，其特征在于，所述方法包括：数据处理设备获取当前会话中第一数据采集设备的主数据和辅数据，所述主数据和所述辅数据为在空间和/或内容上互补的数据，所述当前会话中包括至少两个数据采集设备，所述第一数据采集设备为所述至少两个数据采集设备中的任意一个；所述数据处理设备对所述主数据和所述辅数据进行融合识别得到对应的目标数据。2.根据权利要求1所述的方法，其特征在于，若所述主数据为深度摄像头采集的手势数据，所述辅数据为平面摄像头采集的手势数据；所述数据处理设备对所述主数据和所述辅数据进行融合识别得到对应的目标数据包括：所述数据处理设备对所述主数据和所述辅数据进行时间同步处理；所述数据处理设备根据所述深度摄像头采集的手势数据识别出手势轨迹，并根据所述平面摄像头采集的手势数据识别出手形细节；所述数据处理设备将所述手势轨迹与所述手形细节进行组合识别得到手语数据；所述数据处理设备通过手语识别算法识别所述手语数据得到文字数据，所述文字数据为所述目标数据。3.根据权利要求2所述的方法，其特征在于，所述数据处理设备通过手语识别算法识别所述手语数据得到文字数据之后，所述方法还包括：若所述数据处理设备确定所述第一数据采集设备对应的第一会话参与者为当前讲话人，则所述数据处理设备将所述文字数据发送给正常会话参与者对应的数据采集设备，以使得所述正常会话参与者对应的数据采集设备播放所述文字数据；或，若所述数据处理设备确定所述第一数据采集设备对应的第一会话参与者为当前讲话人，则所述数据处理设备将所述文字数据发送给正常会话参与者对应的数据采集设备，以使得所述正常会话参与者对应的数据采集设备播放所述文字数据，并将手语数据发送给聋哑会话参与者对应的数据采集设备，以使得所述聋哑会话参与者对应的数据采集设备对所述手语数据进行反馈，所述手语数据由所述文字数据与预置数据库进行匹配得到，所述预置数据库用于记录文字与手语的对应关系。4.根据权利要求1所述的方法，其特征在于，若所述主数据为深度摄像头采集的手势数据，所述辅数据为平面摄像头采集的手势数据；所述数据处理设备对所述主数据和所述辅数据进行融合识别得到对应的目标数据包括：所述数据处理设备对所述主数据和所述辅数据进行时间同步处理；所述数据处理设备根据所述深度摄像头采集的手势数据识别出手势轨迹，并根据所述平面摄像头采集的手势数据识别出手形细节；所述数据处理设备将所述手势轨迹与所述手形细节进行组合识别得到手语数据；所述数据处理设备通过手语识别算法识别所述手语数据得到文字数据；所述数据处理设备通过语音合成技术将所述文字数据生成音频数据，所述音频数据为所述目标数据。5.根据权利要求4所述的方法，其特征在于，所述数据处理设备通过语音合成技术将所述文字数据生成音频数据之后，所述方法还包括：若所述数据处理设备确定所述第一数据采集设备对应的第一会话参与者为当前讲话人，则所述数据处理设备将所述音频数据发送给正常会话参与者对应的数据采集设备，以使得所述正常会话参与者对应的数据采集设备播放所述音频数据；或，若所述数据处理设备确定所述第一数据采集设备对应的第一会话参与者为当前讲话人，则所述数据处理设备将所述音频数据发送给正常会话参与者对应的数据采集设备，以使得所述正常会话参与者对应的数据采集设备播放所述音频数据，并将手语数据发送给聋哑会话参与者对应的数据采集设备，以使得所述聋哑会话参与者对应的数据采集设备对所述手语数据进行反馈，所述手语数据由所述文字数据与预置数据库进行匹配得到，所述预置数据库用于记录文字与手语的对应关系。6.根据权利要求1所述方法，其特征在于，若所述主数据为音频数据，所述辅数据为包含唇语信息的视频数据；所述数据处理设备对所述主数据和所述辅数据进行融合识别得到对应的目标数据包括：所述数据处理设备对所述主数据和所述辅数据进行时间同步处理；所述数据处理设备识别所述音频数据得到第一语音序列并实时计算峰值信噪比，并识别所述唇语信息得到第二语音序列；所述数据处理设备根据所述峰值信噪比，所述第一语音序列以及所述第二语音序列确定文字信息；所述数据处理设备将所述文字信息与预置数据库进行匹配得到手语数据，所述手语数据为所述目标数据。7.根据权利要求6所述的方法，其特征在于，所述数据处理设备将所述文字信息与预置数据库进行匹配得到手语数据之后，所述方法还包括：若所述数据处理设备确定所述第一数据采集设备对应的第一会话参与者为正常会话参与者为当前讲话人，则所述数据处理设备将所述手语数据发送给所述当前会话中的普通会话参与者对应的数据采集设备，以使得所述当前会话中的普通会话参与者对应的数据采集设备向所述当前会话中的聋哑会话参与者展示所述手语数据；或，所述数据处理设备将所述手语数据发送给所述当前会话中的聋哑会话参与者对应的数据采集设备，以使得所述当前会话中的聋哑会话参与者对应的数据采集设备播放所述手语数据。8.根据权利要求1至7中任一项所述的方法，其特征在于，所述数据处理设备获取当前会话中第一数据采集设备的主数据和辅数据包括：所述数据处理设备接收所述当前会话中第一数据采集设备发送的语言信息集合；所述数据处理设备从所述语言信息集合中确定所述主数据；所述数据处理设备根据所述主数据确定所述辅数据。9.根据权利要求8所述的方法，其特征在于，所述数据处理设备根据所述主数据确定辅数据包括：所述数据处理设备确定所述第一数据采集设备对应的第一会话参与者；所述数据处理设备以所述第一会话参与者的凝视视线为X轴在与所述第一会话参与者垂直的平面内构成坐标图；所述数据处理设备选择所述坐标图内第一象限和第四象限的数据采集设备构成备选数据采集设备集合；所述数据处理设备从所述备选数据采集设备集合中确定第二数据采集设备，并将所述第二数据采集设备发送的数据作为所述辅数据，所述第二数据采集设备对应的夹角内存在所述第一会话参与者，所述夹角由所述数据处理设备以所述备选数据采集设备集合中的各个备选数据采集设备对应的会话参与者的凝视视线为中心，在与所述备选数据采集设备对应的会话参与者垂直的平面内构成。10.根据权利要求9所述的方法，其特征在于，所述夹角为90度的直角。11.根据权利要求9所述的方法，其特征在于，所述数据处理设备从所述备选数据采集设备集合中确定所述第二数据采集设备之后，所述方法还包括：若所述数据处理设备确定所述第二数据采集设备的数量超过预定阈值，则所述数据处理设备根据识别准确度大于第一阈值且识别复杂度小于第二阈值的原则从所述第二数据采集设备中确定第三数据采集设备，并确定所述第三数据采集设备发送的数据为所述辅数据。12.根据权利要求8所述的方法，其特征在于，所述数据处理设备从所述语言信息集合中确定所述主数据包括：所述数据处理设备获取所述第一数据采集设备的标识，所述标识用于指示所述第一数据采集设备对应的第一会话参与者的属性，所述第一会话参与者的属性为正常会话参与者或聋哑会话参与者；所述数据处理设备根据所述第一数据采集设备的标识从所述语言信息集合中确定所述主数据。13.根据权利要求12所述的方法，其特征在于，所述数据处理设备根据所述第一数据采集设备的标识从所述语言信息集合中确定所述主数据包括：若所述第一数据采集设备的标识指示所述第一数据采集设备对应的第一会话参与者为聋哑会话参与者，则所述数据处理设备确定所述语言信息集合中的手语视频数据为所述主数据；若所述第一数据采集设备的标识指示所述第一数据采集设备对应的第一会话参与者为正常会话参与者，则所述数据处理设备确定所述语言信息集合中的音频数据为所述主数据。14.根...

【专利技术属性】
技术研发人员：郭俊元，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：广东,44