图像处理方法、装置、存储介质及电子设备制造方法及图纸

本申请实施例公开了一种图像处理方法、装置、存储介质及电子设备，通过获取需要进行关键点检测的待检测图像；调用预训练的关键点检测模型对待检测图像进行关键点检测，得到关键点位置信息和关键点归属信息；根据关键点位置信息以及关键点归属信息识别出归属于同一人体的人体关键点集合。相较于相关技术，本申请无需人体检测算法作为前置支撑，可同时检测图像中所有人体的关键点，从而达到提高关键点检测效率的目的。

Image processing method, device, storage medium and electronic equipment

【技术实现步骤摘要】
图像处理方法、装置、存储介质及电子设备
本申请涉及图像处理
，具体涉及一种图像处理方法、装置、存储介质及电子设备。
技术介绍
目前，关键点检测主要为对人体关键点的检测，也即是检测人体的一些关键点，如眼睛、鼻子、手肘、肩膀等，并将它们按照肢体顺序依次连接，通过这些人体关键点来描述人体。然而，相关技术中，将关键点检测分为两部分执行：人体检测和单人人体关键点检测，即首先将图像中每一个人体单独检测出来，然后对每一个人体单独做关键点检测。该方法的检测速度与图像中人体个数呈线性增长的关系，并且需要额外的人体检测算法作为支撑，导致关键点检测的效率较低。
技术实现思路
本申请实施例提供了一种图像处理方法、装置、存储介质及电子设备，能够提高关键点检测的效率。本申请实施例提供的图像处理方法，包括：获取需要进行关键点检测的待检测图像；调用预训练的关键点检测模型对所述待检测图像进行关键点检测，得到关键点位置信息和关键点归属信息；根据所述关键点位置信息以及所述关键点归属信息识别出归属于同一人体的人体关键点集合。本申请实施例提供的图像处理装置，包括：图像获取模块，用于获取需要进行关键点检测的待检测图像；图像检测模块，用于调用预训练的关键点检测模型对所述待检测图像进行关键点检测，得到关键点位置信息和关键点归属信息；人体识别模块，用于根据所述关键点位置信息以及所述关键点归属信息识别出归属于同一人体的人体关键点集合。本申请实施例提供的存储介质，其上存储有计算机程序，当所述计算机程序被处理器加载时执行如本申请提供的图像处理方法。本申请实施例提供的电子设备，包括处理器和存储器，所述存储器存有计算机程序，所述处理器通过加载所述计算机程序，用于执行本申请提供的图像处理方法。本申请通过获取需要进行关键点检测的待检测图像；调用预训练的关键点检测模型对待检测图像进行关键点检测，得到关键点位置信息和关键点归属信息；根据关键点位置信息以及关键点归属信息识别出归属于同一人体的人体关键点集合。相较于相关技术，本申请无需人体检测算法作为前置支撑，可同时检测图像中所有人体的关键点，从而达到提高关键点检测效率的目的。附图说明为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本申请实施例提供的图像处理方法的流程示意图。图2是本申请实施例提供的关键点检测界面的示例图。图3是本申请实施例提供的选择子界面的示例图。图4是本申请实施例提供的关键点检测模型的结构示意图。图5是本申请实施例中特征预测网络的结构示意图。图6是本申请实施例中归属分支的结构示意图。图7是本申请实施例中提供的图像处理方法的另一流程示意图。图8是本申请实施例中输出提示信息的示例图。图9是本申请实施例中定位点和构图点匹配的示例图。图10是本申请实施例提供的图像处理装置的结构示意图。图11是本申请实施例提供的电子设备的结构示意图。具体实施方式请参照图式，其中相同的组件符号代表相同的组件，本申请的原理是以实施在一适当的运算环境中来举例说明。以下的说明是通过所例示的本申请具体实施例，其不应被视为限制本申请未在此详述的其它具体实施例。人工智能(ArtificialIntelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。其中，机器学习(MachineLearning,ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习等技术。本申请实施例提供的方案涉及人工智能的机器学习技术，具体通过如下实施例进行说明:本申请实施例提供一种图像处理方法、图像处理装置、存储介质以及电子设备，其中，该图像处理方法的执行主体可以是本申请实施例中提供的图像处理装置，或者集成了该图像处理装置的电子设备，其中该图像处理装置可以采用硬件或软件的方式实现。其中，电子设备可以是智能手机、平板电脑、掌上电脑、笔记本电脑、或者台式电脑等配置有处理器(包括但不限于通用处理器、定制化处理器等)而具有处理能力的设备。请参照图1，图1为本申请实施例提供的图像处理方法的流程示意图，本申请实施例提供的图像处理方法的流程可以如下：在101中，获取需要进行关键点检测的待检测图像。应当说明的是，本申请中所提及的关键点检测主要为对人体关键点的检测，也即是检测人体的一些关键点，如眼睛、鼻子、手肘、肩膀等，并将它们按照肢体顺序依次连接，通过这些人体关键点来描述人体。其中，电子设备可以接收用户输入的关键点检测请求，并根据该关键点检测请求获取需要进行关键点检测的待检测图像，还可以自动识别需要进行关键点检测的待检测图像，并获取到该待检测图像以用于进行关键点检测。比如，电子设备可以通过包括请求输入接口的关键点检测界面接收输入的关键点检测请求，如图2所示，该请求输入接口可以为输入框的形式，用户可以在该输入框形式的请求输入接口中键入需要进行关键点检测的图像的标识信息，并输入确认信息(如直接按下键盘的回车键)以输入关键点检测请求，该关键点检测请求携带有需要进行关键点检测的图像的标识信息。相应的，电子设备即可根据接收到的关键点检测请求中的标识信息获取到需要进行关键点检测的图像，记为待检测图像。又比如，在图2所述的关键点检测界面中，还包括“打开”控件，一方面，电子设备在侦测到该打开控件触发时，将在关键点检测界面之上叠加显示选择子界面(如图3所示)，该选择子界面向用户提供可进行关键点检测的图像的缩略图，如图像A、图像B、图像C、图像D、图像E、图像F等图像的缩略图，供用户查找并选中需要进行关键点检测的图本文档来自技高网...

【技术保护点】
1.一种图像处理方法，其特征在于，包括：/n获取需要进行关键点检测的待检测图像；/n调用预训练的关键点检测模型对所述待检测图像进行关键点检测，得到关键点位置信息和关键点归属信息；/n根据所述关键点位置信息以及所述关键点归属信息识别出归属于同一人体的人体关键点集合。/n

【技术特征摘要】
1.一种图像处理方法，其特征在于，包括：
获取需要进行关键点检测的待检测图像；
调用预训练的关键点检测模型对所述待检测图像进行关键点检测，得到关键点位置信息和关键点归属信息；
根据所述关键点位置信息以及所述关键点归属信息识别出归属于同一人体的人体关键点集合。


2.根据权利要求1所述的图像处理方法，其特征在于，所述关键点检测模型包括特征提取网络和特征预测网络，所述调用预训练的关键点检测模型对所述待检测图像进行关键点检测，得到关键点位置信息和关键点归属信息，包括：
调用所述特征提取网络提取得到所述待检测图像的图像特征；
调用所述特征预测网络对所述图像特征进行关键点检测，得到关键点位置信息和所述关键点归属信息。


3.根据权利要求2所述的图像处理方法，其特征在于，所述特征预测网络包括位置分支和归属分支，所述调用所述特征预测网络对所述图像特征进行关键点检测，得到关键点位置信息和所述关键点归属信息，包括：
调用所述位置分支对所述图像特征进行关键点位置检测，得到所述关键点位置信息；
调用所述归属分支根据所述图像特征以及所述关键点位置信息进行关键点归属检测，得到所述关键点归属信息。


4.根据权利要求3所述的图像处理方法，其特征在于，所述位置分支包括卷积核尺寸为1*1的卷积单元。


5.根据权利要求3所述的图像处理方法，其特征在于，所述归属分支包括特征优化子模块、融合子模块以及输出子模块，所述调用所述归属分支根据所述图像特征以及所述关键点位置信息进行关键点归属检测，得到所述关键点归属信息，包括：
调用所述特征优化子模块对所述图像特征进行优化处理，得到优化图像特征；
调用所述融合子模块融合所述优化图像特征以及所述关键点位置信息得到融合特征；
调用所述输出子模块对所述融合特征进行关键点位置检测，得到所述关键点位置信息。


6.根据权利要求5所述的图像处理方法，其特征在于，所述特征优化子模块包括卷积核尺寸为1*1的卷积单元，所述输出子模块包括卷积核尺寸为1*1的卷积单元。


7.根据权利要求1-6任一项所述的图像处理方法，其特征在于，所述获取需要进行关键点检测的待检测图像之前，还包括：
获取样本图像以及对应所述样本图像的样本关键点位置信息，并构建所述关键点检测模型；
调用所述关...

【专利技术属性】
技术研发人员：吴佳涛，
申请(专利权)人：OPPO广东移动通信有限公司，
类型：发明
国别省市：广东;44