图像处理方法、装置、电子设备及存储介质制造方法及图纸

本公开提供了一种图像处理方法、装置、电子设备及存储介质，所述方法包括：获取待处理的人脸图像；提取所述人脸图像的人脸关键点；基于所述人脸关键点，定位所述人脸图像中的表情敏感区域，所述表情敏感区域为表情表达集中的人脸局部区域；基于所述表情敏感区域，对所述人脸图像进行表情识别。本公开实施例能够提高表情识别的准确率。

【技术实现步骤摘要】
图像处理方法、装置、电子设备及存储介质
本公开涉及人工智能领域，具体涉及一种对图像处理方法、装置、电子设备及存储介质。
技术介绍
随着互联网技术的高度发展，许多涉及到人工智能领域的系统(例如：情感分析系统、人机交互系统)在进行图像处理时需要进行表情识别。表情识别的准确率越高，对于后续的处理便越有利，用户的体验也会更佳。现有技术中在进行图像处理时，对于表情特征的表达不够全面、精准，从而导致表情识别的准确率较低。
技术实现思路
本公开的一个目的在于提出一种图像处理方法、装置、电子设备及存储介质，能够提高表情识别的准确率。根据本公开实施例的一方面，公开了一种图像处理方法，所述方法包括：获取待处理的人脸图像；提取所述人脸图像的人脸关键点；基于所述人脸关键点，定位所述人脸图像中的表情敏感区域，所述表情敏感区域为表情表达集中的人脸局部区域；基于所述表情敏感区域，对所述人脸图像进行表情识别。根据本公开实施例的一方面，公开了一种图像处理装置，所述装置包括：获取模块，配置为获取待处理的人脸图像；提取模块，配置为提取所述人脸图像的关键点；定位模块，配置为基于所述关键点，定位所述人脸图像中的表情敏感区域，所述表情敏感区域为表情表达集中的人脸局部区域；识别模块，配置为基于所述表情敏感区域，对所述人脸图像进行表情识别。根据本公开实施例的一方面，公开了一种图像处理电子设备，包括：存储器，存储有计算机可读指令；处理器，读取存储器存储的计算机可读指令，以执行以上权利要求中的任一个所述的方法。根据本公开实施例的一方面，公开了一种计算机可读存储介质，其上存储有计算机可读指令，当所述计算机可读指令被计算机的处理器执行时，使计算机执行以上权利要求中的任一个所述的方法。本公开实施例获取到待处理的人脸图像，提取出该人脸图像的人脸关键点，进而基于提取出的人脸关键点定位该人脸图像中的表情敏感区域，基于表情敏感区域对该人脸图像进行表情识别。其中，表情敏感区域为表情表达集中的人脸局部区域，例如：眼部区域、嘴部区域。由于在进行表情识别时特别引入了对表情敏感区域的考虑，使得进行表情识别所需的特征表达更为全面，从而提高了表情识别的精准度。本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。应当理解的是，以上的一般描述和后文的细节描述仅是示例性的，并不能限制本公开。附图说明通过参考附图详细描述其示例实施例，本公开的上述和其它目标、特征及优点将变得更加显而易见。图1示出了根据本公开一个实施例的图像处理方法的流程图。图2示出了根据本公开一个实施例的使用预训练的神经网络进行图像处理的过程。图3示出了根据本公开一个实施例的主网络结构的内部具体结构。图4示出了根据本公开一个实施例的ResBlock残差块的内部具体结构。图5示出了根据本公开一个实施例的注意力模块的内部具体结构。图6示出了根据本公开一个实施例的图像处理装置的方框图。图7示出了根据本公开一个实施例的图像处理电子设备的硬件图。具体实施方式现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些示例实施方式使得本公开的描述将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多示例实施方式中。在下面的描述中，提供许多具体细节从而给出对本公开的示例实施方式的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而省略所述特定细节中的一个或更多，或者可以采用其它的方法、组元、步骤等。在其它情况下，不详细示出或描述公知结构、方法、实现或者操作以避免喧宾夺主而使得本公开的各方面变得模糊。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。本公开实施例涉及人工智能领域，具体的，主要涉及到人工智能领域中的计算机视觉技术、机器学习。人工智能(ArtificialIntelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。计算机视觉技术(ComputerVision,CV)计算机视觉是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等技术，还包括常见的人脸识别、指纹识别等生物特征识别技术。机器学习(MachineLearning,ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。本公开实施例的执行主体可以为任一具有足够运算能力的图像处理终端：可以为云端服务器，可以为本地计算机集群，也可以为个人电脑终端，也可以为多个相互协作的终端。需要说明的是，本公开实施例可由图像处理终端中预训练的神经网络执行。具体的，图像处理终端中预训练的神经网络获取到待处理的人脸图像后，基于预训练生成的神经网络参数——提取该人脸图像的人脸关键点；基于人脸关键点定本文档来自技高网...

【技术保护点】
1.一种图像处理方法，其特征在于，所述方法包括：/n获取待处理的人脸图像；/n提取所述人脸图像的人脸关键点；/n基于所述人脸关键点，定位所述人脸图像中的表情敏感区域，所述表情敏感区域为表情表达集中的人脸局部区域；/n基于所述表情敏感区域，对所述人脸图像进行表情识别。/n

【技术特征摘要】
1.一种图像处理方法，其特征在于，所述方法包括：
获取待处理的人脸图像；
提取所述人脸图像的人脸关键点；
基于所述人脸关键点，定位所述人脸图像中的表情敏感区域，所述表情敏感区域为表情表达集中的人脸局部区域；
基于所述表情敏感区域，对所述人脸图像进行表情识别。


2.根据权利要求1所述的方法，其特征在于，所述表情敏感区域包括至少两个人脸局部区域，基于所述人脸关键点，定位所述人脸图像中的表情敏感区域，包括：
从所述人脸关键点中，获取所述至少两个人脸局部区域分别对应的区域关键点；
基于所述区域关键点，分别定位所述至少两个人脸局部区域。


3.根据权利要求2所述的方法，其特征在于，所述至少两个人脸局部区域包括眼部区域和嘴部区域，
从所述人脸关键点中，获取所述至少两个人脸局部区域分别对应的区域关键点，包括：从所述人脸关键点中，获取所述眼部区域对应的眼部关键点、所述嘴部区域对应的嘴部关键点；
基于所述区域关键点，分别定位所述至少两个人脸局部区域，包括：
基于所述眼部关键点，定位所述眼部区域；
基于所述嘴部关键点，定位所述嘴部区域。


4.根据权利要求1所述的方法，其特征在于，基于所述表情敏感区域，对所述人脸图像进行表情识别，包括：
提取所述人脸图像对应的全局特征；
从所述表情敏感区域中提取所述表情敏感区域对应的区域特征；
基于所述全局特征以及所述区域特征，对所述人脸图像进行表情识别。


5.根据权利要求4所述的方法，其特征在于，所述表情敏感区域包括至少两个人脸局部区域，从所述表情敏感区域中提取所述表情敏感区域对应的区域特征，包括：从所述至少两个人脸局部区域中分别提取所述至少两个人脸局部区域分别对应的区域特征；
在基于所述全局特征以及所述区域特征，对所述人脸图像进行表情识别之前，还包括：
对所述至少两个人脸局部区域分别对应的区域特征进行拼接，获取所述至少两个人脸局部区域的拼接特征；
对所述拼接特征进行融合，获取所述至少两个人脸局部区域的融合特征；
基于所述全局特征以及所述区域特征，对所述人脸图像进行表情识别，包括：基于所述全局特征以及所述融合特征，对所述人脸图像进行表情识别。


6.根据权利要求1所述的方法，其特征在于，所述方法还包括：基于引入类间距离的中心损失函数LIC，对用于所述图像处理的神经网络进行预训练，
其中，所述类间距离包括当前输入特征对应的第一中心表情、与所述当前输入特征对应的第二中心表情之间的距离，所述中心损失函数LIC表达为如下公式：

其中，xi为所述当前输入特征，cyi为所述第一中心表情，ck为所述第二中心表情，m为训练所述神经网络时所使用的训练数据集所包含的训练数据的数量，所述当前输入特征为所述训练数据集中的一训练数据，n为表情的类别数，...

【专利技术属性】
技术研发人员：武文琦，叶泽雄，肖万鹏，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：广东;44