一种融合面部肌信息处理的手语识别方法及其系统技术方案

本发明专利技术涉及手语识别技术领域，用于解决现有的手语识别的方式中，无法保证手语识别翻译的精度，缺少对面部表情信息的分析，导致识别精度低，出错率高，无法准确表达出聋哑人的情感，进而导致手语沟通的效率不佳，给用户带来极大的不便的问题，具体为一种融合面部肌信息处理的手语识别方法及其系统，包括数据采集单元、云数据库、手语识别分析单元、识别精度影响单元、面部肌分析单元、综合定性单元和输出终端。本发明专利技术，通过将面部状态信息与手语表达信息以及影响其手语表达的影响程度信息进行整合分析，以此来提高手语识别的精准度，从而来降低手语识别的出错率，并准确表达出聋哑人员的情感及手语沟通的效率，给用户带来方便。给用户带来方便。给用户带来方便。

【技术实现步骤摘要】
一种融合面部肌信息处理的手语识别方法及其系统


[0001]本专利技术涉及手语识别
，具体为一种融合面部肌信息处理的手语识别方法及其系统。

技术介绍

[0002]手语是一种通过手势和身体动作表达意思的交流方式，常常被聋哑人士使用。手语可以有不同的形式和变化，包括美国手语，英国手语等。手语也可以作为一种辅助通讯工具，在教育、医疗等领域得到广泛应用。
[0003]除了在特定的社群中使用，手语在全球范围内也受到越来越多人的关注和学习。对于普通人来说，学习手语不仅可以帮助我们更好地理解聋哑人士的需求和心声，也可以提高我们的跨文化交际能力，让我们更加开放和包容不同的人群。
[0004]但在现有的手语识别的方式中，依然面临诸多问题。
[0005]比如说，手语识别技术在实际应用中面临着精度不高的问题。尤其是在复杂的背景下，例如嘈杂的环境或光线不足的情况下，手语识别很容易受到干扰和误判，导致手语识别的翻译不准确；
[0006]还比如说，现有的手语识别翻译仅仅是考虑到对手势动作的识别，没有将识别人的面部表情与手势动作进行综合分析，缺少对面部表情和头部姿态信息的分析，导致识别精度低，出错率高，无法准确表达出聋哑人的情感，进而导致手语沟通的效率不佳，给用户带来极大的不便。
[0007]为了解决上述缺陷，现提供一种技术方案。

技术实现思路

[0008]本专利技术的目的就在于解决现有的手语识别的方式中，无法保证手语识别翻译的精度，缺少对面部表情信息的分析，导致识别精度低，出错率高，无法准确表达出聋哑人的情感，进而导致手语沟通的效率不佳，给用户带来极大的不便的问题，通过将面部状态信息与手语表达信息以及影响其手语表达的影响程度信息进行整合分析，以此来提高手语识别的精准度，从而来降低手语识别的出错率，并准确表达出聋哑人员的情感及手语沟通的效率，给用户带来方便，而提出一种融合面部肌信息处理的手语识别方法及其系统。
[0009]本专利技术的目的可以通过以下技术方案实现：一种融合面部肌信息处理的手语识别方法，包括以下步骤：
[0010]步骤一：采集目标识别人的手部参数信息、面部参数信息、影响因素信息；
[0011]步骤二：对目标识别人的手部参数信息进行监测，由此对目标识别人的手部状态进行分析；
[0012]步骤三：对目标识别人的面部参数信息进行监测，由此对目标识别人的面部状态进行分析；
[0013]步骤四：对目标识别人的手语表达的影响因素信息进行监测，由此对目标识别人
的手语表达的影响程度进行分析；
[0014]步骤五：对目标识别人的手部状态、面部状态及手语表达的影响程度进行综合分析，由此得到目标识别人的最终手语表达示意信息，并通过输出终端对目标识别人的最终手语表达示意信息进行显示说明。
[0015]一种融合面部肌信息处理的手语识别系统，包括：数据采集单元、云数据库、手语识别分析单元、识别精度影响单元、面部肌分析单元、综合定性单元和输出终端；
[0016]所述数据采集单元用于采集目标识别人的手部参数信息、面部参数信息、影响因素信息，并将其均发送至云数据库中进行存储；
[0017]所述手语识别分析单元用于对目标识别人的手部参数信息进行监测，由此对目标识别人的手部状态进行分析；
[0018]所述面部肌分析单元用于对目标识别人的面部参数信息进行监测，由此对目标识别人的面部状态进行分析；
[0019]所述识别精度影响单元用于对目标识别人的手语表达的影响因素信息进行监测，由此对目标识别人的手语表达的影响程度进行分析；
[0020]所述综合定性单元用于对目标识别人的手部状态、面部状态及手语表达的影响程度进行综合分析；
[0021]所述云数据库用于存储目标识别人的手部轮廓概括示意表，存储目标识别人的第一面部表情判定表，存储目标识别人的第二面部表情判别表，存储目标识别人的影响程度数据表，存储目标识别人的手语表达信息判定表。
[0022]优选的，所述对目标识别人的手部参数信息进行监测及其手部状态进行分析，其具体过程如下：
[0023]实时监测目标识别人的手部动作，同时对目标识别人的每个手部动作图像进行记录，并提取每个手部动作图像的轮廓值，并将各手部动作图像的轮廓值与存储在云数据库中的手部轮廓概括示意表进行对照匹配分析，由此得到目标识别人的每个手部动作的初步示意数据值，且得到的目标识别人的每个手部动作图像的轮廓值均对应一个初步示意数据值；
[0024]依据得到的目标识别人的每个手部动作图像，并提取每个手部动作图像的手势颜色值和亮度值，并将其分别标定为gcv
i
和lg
i
，并将其进行归一化分析，依据设定的公式sdv
i
＝δ1
×
gcv
i
+δ2
×
lg
i
，由此得到目标识别人的每个手部动作的第二示意数据值sdv
i
，其中，i表示为手部动作图像的个数，且i＝1，2，3
……
n，δ1和δ2分别为手势颜色值和亮度值的归一因子，且δ1和δ2均为大于0的自然数；
[0025]将目标识别人的每个手部动作的初步示意数据值与第二示意数据值进行综合分析，依据设定的公式由此得到目标识别人的手部综合示意数据值，其中，cbx
i
表示为目标识别人的每个手部动作的初步示意数据值zhs，γ1和γ2分别为初步示意数据值与第二示意数据值的修正因子系数，且γ1和γ2均为大于0的自然数。
[0026]优选的，所述对目标识别人的面部参数信息进行监测，其具体监测过程如下：
[0027]实时监测目标识别人的面部动作，且面部动作包括皱眉、抬头、张嘴、噘嘴、眨眼、拱鼻等，且记录目标识别人的每个面部动作的动作强度和持续时间，并将其分别标定为str
j
和dur
j
，并将其进行公式分析，依据设定的公式由此得到目标识别人的面部表情系数fep，其中，j表示为面部动作的类型数，且j＝1，2，3
……
m，g1和g2分别为动作强度和持续时间的修正因子系数，且g1和g2均为大于0的自然数；
[0028]实时监测目标识别人的各面部动作，并在每个面部动作选取k个面部特征点，由此获取对应面部动作的各面部特征点的位移值和肌肉活动值，并将其分别标定为dis
jk
和act
jk
，依据公式由此得到目标识别人的各面部动作的面肌特征系数fac
j
，其中，e1和e2分别为位移值和肌肉活动值的修正因子系数，且e1和e2均为大于0的自然数；
[0029]将目标识别人的所有面部动作的面肌特征系数进行求和分析，依据公式由此得到目标识别人的面部肌感系数fmp。
[0030]优选的，所述对目标识别人的面部状态进行分析，其具体分析过程如下：
[0031]将目标识别人的面部表情系数和面部肌本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种融合面部肌信息处理的手语识别方法，其特征在于，包括以下步骤：步骤一：采集目标识别人的手部参数信息、面部参数信息、影响因素信息；步骤二：对目标识别人的手部参数信息进行监测，由此对目标识别人的手部状态进行分析；步骤三：对目标识别人的面部参数信息进行监测，由此对目标识别人的面部状态进行分析；步骤四：对目标识别人的手语表达的影响因素信息进行监测，由此对目标识别人的手语表达的影响程度进行分析；步骤五：对目标识别人的手部状态、面部状态及手语表达的影响程度进行综合分析，由此得到目标识别人的最终手语表达示意信息，并通过输出终端对目标识别人的最终手语表达示意信息进行显示说明。2.一种融合面部肌信息处理的手语识别系统，其特征在于，包括：数据采集单元，用于采集目标识别人的手部参数信息、面部参数信息、影响因素信息，并将其均发送至云数据库中进行存储；手语识别分析单元，用于对目标识别人的手部参数信息进行监测，由此对目标识别人的手部状态进行分析；面部肌分析单元，用于对目标识别人的面部参数信息进行监测，由此对目标识别人的面部状态进行分析；识别精度影响单元，用于对目标识别人的手语表达的影响因素信息进行监测，由此对目标识别人的手语表达的影响程度进行分析；综合定性单元，用于对目标识别人的手部状态、面部状态及手语表达的影响程度进行综合分析；云数据库，用于存储目标识别人的手部轮廓概括示意表，存储目标识别人的第一面部表情判定表，存储目标识别人的第二面部表情判别表，存储目标识别人的影响程度数据表，存储目标识别人的手语表达信息判定表。3.根据权利要求2所述的一种融合面部肌信息处理的手语识别系统，其特征在于，所述对目标识别人的手部参数信息进行监测及其手部状态进行分析，其具体过程如下：实时监测目标识别人的手部动作，同时对目标识别人的每个手部动作图像进行记录，并提取每个手部动作图像的轮廓值，并将各手部动作图像的轮廓值与存储在云数据库中的手部轮廓概括示意表进行对照匹配分析，由此得到目标识别人的每个手部动作的初步示意数据值，且得到的目标识别人的每个手部动作图像的轮廓值均对应一个初步示意数据值；依据得到的目标识别人的每个手部动作图像，并提取每个手部动作图像的手势颜色值和亮度值，并将其分别标定为gcv
i
和lg
i
，并将其进行归一化分析，依据设定的公式sdv
i
＝δ1
×
gcv
i
+δ2
×
lg
i
，由此得到目标识别人的每个手部动作的第二示意数据值sdv
i
，其中，i表示为手部动作图像的个数，且i＝1，2，3
……
n，δ1和δ2分别为手势颜色值和亮度值的归一因子，且δ1和δ2均为大于0的自然数；将目标识别人的每个手部动作的初步示意数据值与第二示意数据值进行综合分析，依
据设定的公式由此得到目标识别人的手部综合示意数据值，其中，cbx
i
表示为目标识别人的每个手部动作的初步示意数据值zhs，γ1和γ2分别为初步示意数据值与第二示意数据值的修正因子系数，且γ1和γ2均为大于0的自然数。4.根据权利要求2所述的一种融合面部肌信息处理的手语识别系统，其特征在于，所述对目标识别人的面部参数信息进行监测，其具体监测过程如下：实时监测目标识别人的面部动作，且面部动作包括皱眉、抬头、张嘴、噘嘴、眨眼、拱鼻等，且记录目标识别人的每个面部动作的动作强度和持续时间，并将其分别标定为str
j
和dur
j
，并将其进行公式分析，依据设定的公式由此得到目标识别人的面部表情系数fep，其中，j表示为面部动作的类型数，且j＝1，2，3
……
m，g1和g2分别为动作强度和持续时间的修正因子系数，且g1和g2均为大于0的自然数；实时监测目标识别人的各面部动作，并...

【专利技术属性】
技术研发人员：王森霖，朱铭熙，刘勇，陈宗涵，武广润，李好，马跃，王帅，王长虹，
申请(专利权)人：黑龙江大学，
类型：发明
国别省市：