【技术实现步骤摘要】
唇语内容识别方法、装置、存储介质及电子设备
[0001]本公开涉及计算机视觉
，尤其涉及唇语内容识别方法、装置、存储介质及电子设备。
技术介绍
[0002]在很多场景中，可以通过唇语来获取到信息表达对象表达的信息，通过对唇语的内容进行有效的预测可以更为清楚地了解到信息表达对象的意图。相关技术中，通常通过解析可见光图像提取信息表达对象的口型信息，从而推测信息表达对象表达的唇语内容，但是这种方案的准确度较低，难以满足很多场景下对于唇语内容的预测要求，也影响了基于唇语内容的意图分析或者其他基于唇语内容的相关应用的落地实施。
技术实现思路
[0003]为了解决上述提出的至少一个技术问题，本公开提出了唇语内容识别方法、装置、存储介质及电子设备。
[0004]根据本公开的一方面，提供了一种唇语内容识别方法，包括：获取第一时刻下拍摄目标对象所得到的第一可见光图像和第一热图像；对所述第一可见光图像和所述第一热图像进行图像融合，得到第一融合图像；对所述第一融合图像进行唇语内容识别，得到所述第一时刻下所述目标对象对...
【技术保护点】
【技术特征摘要】 【专利技术属性】
1.一种唇语内容识别方法，其特征在于，所述方法包括：获取第一时刻下拍摄目标对象所得到的第一可见光图像和第一热图像；对所述第一可见光图像和所述第一热图像进行图像融合，得到第一融合图像；对所述第一融合图像进行唇语内容识别，得到所述第一时刻下所述目标对象对应的唇语内容。2.根据权利要求1所述的方法，其特征在于，所述方法还包括：获取第二时刻下拍摄所述目标对象所得到的第二可见光图像和第二热图像，所述第二时刻为不同于所述第一时刻的任一时刻；对所述第二可见光图像和所述第二热图像进行所述图像融合，得到第二融合图像；所述对所述第一融合图像进行唇语内容识别，得到所述第一时刻下所述目标对象对应的唇语内容，包括：对所述第一融合图像和所述第二融合图像分别进行唇语内容识别，得到所述第一时刻下所述目标对象对应的唇语内容。3.根据权利要求1或2所述的方法，其特征在于，所述对所述第一可见光图像和所述第一热图像进行图像融合，得到第一融合图像，包括：对所述第一可见光图像进行基于目标区域的截取，得到第一光区域图像，所述目标区域为包含唇语信息的区域；对所述第一热图像进行基于所述目标区域的截取，得到第一热区域图像；对所述第一光区域图像和所述第一热区域图像进行基于通道的融合处理，得到所述第一融合图像。4.根据权利要求3所述的方法，其特征在于，所述对所述第一光区域图像和所述第一热区域图像进行基于通道的融合处理，得到所述第一融合图像，包括：对所述第一光区域图像和所述第一热区域图像进行对齐处理，得到第二光区域图像和第二热区域图像；对所述第二光区域图像和所述第二热区域图像进行通道横向连接，得到所述第一融合图像；其中，所述第二光区域图像中的第一位置，和，所述第二热区域图像中与所述第一位置对应的第二位置，均对应于空间中的同一位置，所述第一位置为所述第二光区域图像中的任一位置。5.根据权利要求1
‑
4中任意一项所述的方法，其特征在于，所述对所述第一融合图像进行唇语内容识别，得到所述第一时刻下所述目标对象对应的唇语内容，包括：对所述第一融合图像进行特征提取处理，得到第一特征信息；对所述第一特征信息进行唇语内容映射处理，得到所述第一时刻下的唇语内容为每一内容词的概率；将概率最大的内容词确定为所述第一时刻下的唇语内容。6.根据权利要求5所述的方法，其特征在于，所述对所述第一融合图像进行特征提取处理，得到第一特征信息，包括：对所述第一融合图像进行综合特征提取，得到第二特征信息，所述综合特征提取包括直接特征抽取、基于降维过滤的特征抽取和基于上下文的特征抽取中的至少一个；
基于所述第二特征信息，得到所述第一特征信息。7.根据权利要求6所述的方法，其特征在于，所述基于所述第二特征信息，得到所述第一特征信息，包括：对所述第二特征信息进行所述综合特征提取，得到所述第一特征信息。8.根据权利要求2
‑
技术研发人员：杨坤，孙其功，杨慧，马堃，
申请(专利权)人：西安商汤智能科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。