手语识别方法及装置制造方法及图纸

本发明专利技术提供了一种手语识别方法，包括：对各个子视频进行特征提取得到与每个子视频对应的特征数据；对各个特征数据进行编码得到与每个子视频对应的时序特征数据；应用预先设置的CTC解码器，按各个时序特征数据的时序，依次对各个时序特征数据进行解码，得到第一输出结果；在第一输出结果中，按各个第一概率值由大至小的顺序选取预设数目的自然语言数据以组成待识别结果集合；应用预先设置的LSTM解码器确定所述待识别结果集合中的各个所述自然语言数据对应的第二概率值；依据第一概率值及第二概率值，在待识别结果集合中选定目标自然语言数据。通过CTC解码器及LSTM解码器共同解码，能有效的提升手语识别的精度。

Sign Language Recognition Method and Device

【技术实现步骤摘要】
手语识别方法及装置
本专利技术涉及数据处理领域，特别涉及一种手语识别方法及装置。
技术介绍
随着信息技术的发展，基于机器学习的连续手语识别技术也得到了极大的发展。手语是聋哑人士获取信息及表达信息的一种重要方式，聋哑人士通常通过手语来与他人进行沟通，这需要交流的双方都要懂得手语，而正常人学习手语需耗费大量的时间和精力，故而大部分正常人的手语水平较低，难以与聋哑人士进行交流。因此，连续手语识别技术对聋哑人的沟通具有重大意义。然而，现有的基于机器学习的连续手语识别技术中，往往对包含手语的视频的识别准确率低，因此，如何提高手语视频的识别准确率成为本领域技术人员迫切解决的问题。
技术实现思路
本专利技术所要解决的技术问题是提供一种手语识别方法，能够能基于连接时序分类(ConnectionistTemporalClassification，CTC)解码器及长短时记忆(LongShortTermMemory，LSTM)解码器共同对待识别手语视频进行识别，有效的提升手语识别的准确率。本专利技术还提供了一种手语识别装置，用以保证上述方法在实际中的实现及应用。一种手语识别方法，包括：将已获取的待识别手语视频划分为多个子视频；对各个所述子视频进行特征提取，得到与每个所述子视频对应的特征数据；对各个所述特征数据进行编码，以生成与每个所述子视频对应的时序特征数据；应用预先设置的连接时序分类CTC解码器，按各个所述时序特征数据的时序，依次对各个所述时序特征数据进行解码，得到第一输出结果；所述第一输出结果包含与所述待识别视频对应的各个自然语言数据的第一概率值；在所述第一输出结果中，按各个所述第一概率值由大至小的顺序，选取预设数目的自然语言数据，以组成待识别结果集合；应用预先设置的LSTM解码器确定所述待识别结果集合中的各个所述自然语言数据分别对应的第二概率值；依据各个所述第一概率值及各个所述第二概率值，在所述待识别结果集合中选定目标自然语言数据，并将所述目标自然语言数据确定为与所述待识别手语视频对应的识别结果。上述的方法，可选的，所述将已获取的待识别手语视频划分为多个子视频，包括：调用预先设置的滑动窗，按预设的步长，从所述待识别手语视频的起始端依次提取与所述滑动窗的窗长匹配的子视频；其中，所述窗长大于所述步长。上述的方法，可选的，应用预先设置的CTC解码器，按各个所述时序特征数据的时序，依次对各个所述时序特征数据进行解码，得到第一输出结果，包括：将每个所述时序特征数据分别与预设的各个自然语言单词进行匹配，得到每个所述时序特征数据分别与各个所述自然语言单词对应的自然语言概率分布；基于所述概率分布确定与待识别视频对应的各个自然语言数据的第一概率值；将各个所述第一概率值组成第一输出结果。上述的方法，可选的，在所述第一输出结果中，按各个所述第一概率值由大至小的顺序，选取预设数目的自然语言数据，包括：依据第一概率值的大小，对所述第一输出结果中的各个第一概率值进行排序，并由大至小的选取预设数目的所述第一概率值；确定已选取的各个所述第一概率值分别对应的自然语言数据；或，将所述第一输出结果中的各个第一概率值与预先设置的概率阈值进行比较，得到多个大于所述概率阈值的所述第一概率值；在所述多个大于所述概率阈值的所述第一概率值中，由大至小的选取预设数目的所述第一概率值，并确定已选取的各个所述第一概率值分别对应的自然语言数据。上述的方法，可选的，依据各个所述第一概率值及各个所述第二概率值，在所述待识别结果集合中选定目标自然语言数据，并将所述目标自然语言数据确定为与所述待识别手语视频对应的识别结果，包括：基于所述第一概率值及所述第二概率值对待识别结果集合中的各个所述自然语言数据进行评分，得到评分结果；依据所述评分结果在所述待识别结果集合中确定与所述待识别手语视频对应的目标自然语言数据；将所述目标自然语言数据确定为与所述待识别手语视频对应的识别结果。一种手语识别装置，包括：获取单元，用于将已获取的待识别手语视频划分为多个子视频；提取单元，用于对各个所述子视频进行特征提取，得到与每个所述子视频对应的特征数据；编码单元，用于对各个所述特征数据进行编码，得到与每个所述子视频对应的时序特征数据；解码单元，用于应用预先设置的CTC解码器，按各个所述时序特征数据的时序，依次对各个所述时序特征数据进行解码，得到第一输出结果；所述第一输出结果包含与所述待识别视频对应的各个自然语言数据的第一概率值；选取单元，用于在所述第一输出结果中，按各个所述第一概率值由大至小的顺序，选取预设数目的自然语言数据，以组成待识别结果集合；执行单元，用于应用预先设置的LSTM解码器确定所述待识别结果集合中的各个所述自然语言数据分别对应的第二概率值；识别单元，用于依据各个所述第一概率值及各个所述第二概率值，在所述待识别结果集合中选定目标自然语言数据，并将所述目标自然语言数据确定为与所述待识别手语视频对应的识别结果。上述的装置，可选的，所述获取单元，包括：提取子单元，用于调用预先设置的滑动窗，按预设的步长，从所述待识别手语视频的起始端依次提取与所述滑动窗的窗长匹配的子视频；其中，所述窗长大于所述步长。上述的装置，可选的，所述解码单元，包括：匹配子单元，用于将每个所述时序特征数据分别与预设的各个自然语言单词进行匹配，得到每个所述时序特征数据分别与各个所述自然语言单词对应的自然语言概率分布；第一确定子单元，用于依据所述概率分布确定与待识别视频对应的各个自然语言数据的第一概率值；第一执行子单元，将各个所述第一概率值组成第一输出结果。上述的装置，可选的，所述选取单元，包括：第一排序子单元或第二排序子单元；所述第一排序子单元，用于依据第一概率值的大小，对所述第一输出结果中的各个第一概率值进行排序，并由大至小的选取预设数目的所述第一概率值；确定已选取的各个所述第一概率值分别对应的自然语言数据；所述第二排序子单元，用于将所述第一输出结果中的各个第一概率值与预先设置的概率阈值进行比较，得到多个大于所述概率阈值的所述第一概率值；在所述多个大于所述概率阈值的所述第一概率值中，由大至小的选取预设数目的所述第一概率值，并确定已选取的各个所述第一概率值分别对应的自然语言数据。上述的装置，可选的，所述识别单元，包括：评分子单元，用于依据所述第一概率值及所述第二概率值对待识别结果集合中的各个所述自然语言数据进行评分，得到评分结果；第二确定子单元，用于依据所述评分结果在所述待识别结果集合中确定与所述待识别手语视频对应的目标自然语言数据；第三确定子单元，用于将所述目标自然语言数据确定为与所述待识别手语视频对应的识别结果。一种存储介质，所述存储介质包括存储的指令，其中，在所述指令运行时控制所述存储介质所在的设备执行上述的手语识别方法。一种电子设备，包括存储器，以及一个或者一个以上的指令，其中一个或者一个以上指令存储于存储器中，且经配置以由一个或者一个以上处理器执行上述的手语识别方法。经由上述方案可知，本专利技术提供了一种手语识别方法，包括：将已获取的待识别手语视频划分为多个子视频；对各个所述子视频进行特征提取，得到与每个所述子视频对应的特征数据；对各个所述特征数据进行编码，以生成与每个所述子视频对应的时序特征数据；应用预先设置的CTC解码器，按本文档来自技高网...

【技术保护点】
1.一种手语识别方法，其特征在于，包括：将已获取的待识别手语视频划分为多个子视频；对各个所述子视频进行特征提取，得到与每个所述子视频对应的特征数据；对各个所述特征数据进行编码，以生成与每个所述子视频对应的时序特征数据；应用预先设置的连接时序分类CTC解码器，按各个所述时序特征数据的时序，依次对各个所述时序特征数据进行解码，得到第一输出结果；所述第一输出结果包含与所述待识别视频对应的各个自然语言数据的第一概率值；在所述第一输出结果中，按各个所述第一概率值由大至小的顺序，选取预设数目的自然语言数据，以组成待识别结果集合；应用预先设置的长短时记忆LSTM解码器确定所述待识别结果集合中的各个所述自然语言数据分别对应的第二概率值；依据各个所述第一概率值及各个所述第二概率值，在所述待识别结果集合中选定目标自然语言数据，并将所述目标自然语言数据确定为与所述待识别手语视频对应的识别结果。

【技术特征摘要】
1.一种手语识别方法，其特征在于，包括：将已获取的待识别手语视频划分为多个子视频；对各个所述子视频进行特征提取，得到与每个所述子视频对应的特征数据；对各个所述特征数据进行编码，以生成与每个所述子视频对应的时序特征数据；应用预先设置的连接时序分类CTC解码器，按各个所述时序特征数据的时序，依次对各个所述时序特征数据进行解码，得到第一输出结果；所述第一输出结果包含与所述待识别视频对应的各个自然语言数据的第一概率值；在所述第一输出结果中，按各个所述第一概率值由大至小的顺序，选取预设数目的自然语言数据，以组成待识别结果集合；应用预先设置的长短时记忆LSTM解码器确定所述待识别结果集合中的各个所述自然语言数据分别对应的第二概率值；依据各个所述第一概率值及各个所述第二概率值，在所述待识别结果集合中选定目标自然语言数据，并将所述目标自然语言数据确定为与所述待识别手语视频对应的识别结果。2.根据权利要求1所述的方法，其特征在于，所述将已获取的待识别手语视频划分为多个子视频，包括：调用预先设置的滑动窗，按预设的步长，从所述待识别手语视频的起始端依次提取与所述滑动窗的窗长匹配的子视频；其中，所述窗长大于所述步长。3.根据权利要求1所述的方法，其特征在于，所述应用预先设置的CTC解码器，按各个所述时序特征数据的时序，依次对各个所述时序特征数据进行解码，得到第一输出结果，包括：将每个所述时序特征数据分别与预设的各个自然语言单词进行匹配，得到每个所述时序特征数据分别与各个所述自然语言单词对应的自然语言概率分布；基于所述概率分布确定与待识别视频对应的各个自然语言数据的第一概率值；将各个所述第一概率值组成第一输出结果。4.根据权利要求1所述的方法，其特征在于，所述在所述第一输出结果中，按各个所述第一概率值由大至小的顺序，选取预设数目的自然语言数据，包括：依据第一概率值的大小，对所述第一输出结果中的各个第一概率值进行排序，并由大至小的选取预设数目的所述第一概率值；确定已选取的各个所述第一概率值分别对应的自然语言数据；或，将所述第一输出结果中的各个第一概率值与预先设置的概率阈值进行比较，得到多个大于所述概率阈值的所述第一概率值；在所述多个大于所述概率阈值的所述第一概率值中，由大至小的选取预设数目的所述第一概率值，并确定已选取的各个所述第一概率值分别对应的自然语言数据。5.根据权利要求1所述的方法中，其特征在于，所述依据各个所述第一概率值及各个所述第二概率值，在所述待识别结果集合中选定目标自然语言数据，并将所述目标自然语言数据确定为与所述待识别手语视频对应的识别结果，包括：基于所述第一概率值及所述第二概率值对待识别结果集合中的各个所述自然语言数据进行评分，得到评分结果；依据所述评分结果在所述待识别结果集合中确定与所述待识别手语视频对应的目标自然语言数据；将所述目标自然语言数据确...

【专利技术属性】
技术研发人员：李厚强，周文罡，蒲俊福，
申请(专利权)人：中国科学技术大学，
类型：发明
国别省市：安徽,34