图像处理方法、装置、控制终端及可移动设备制造方法及图纸

一种图像处理方法、装置、控制终端及可移动设备，包括：获取包括目标物体的目标图像(101)；确定目标图像中的目标区域(102)；在目标区域中，确定目标物体的主体特征区域(103)；根据主体特征区域的初始深度信息，确定目标物体的深度信息(104)，根据深度信息确定目标物体的三维物理信息(105)。本发明专利技术在得到深度信息的过程中，由于去除了目标图像中的背景、遮挡物、目标物体的非主体部分的干扰，所以降低了在计算深度信息的过程中引入无用信息的几率，提高了三维物理信息的精度，另外，本发明专利技术是针对主体特征区域进行扫描和处理，从而得到对应目标物体的三维物理信息，相较于直接对整个目标图像进行扫描和处理，减少了计算量，提高了处理效率。

【技术实现步骤摘要】
【国外来华专利技术】图像处理方法、装置、控制终端及可移动设备
本专利技术属于图像处理
，特别是涉及一种图像处理方法、装置、控制终端及可移动设备。
技术介绍
作为智能计算的重要领域，计算机视觉技术得到了极大的开发应用。计算机视觉技术通过成像系统来代替人类的视觉器官，从而实现对目标物体的跟踪定位。在目前，实现对目标物体的跟踪定位，需要首先得知目标物体的深度信息，即获得一张用于表示目标深度信息的深度信息图(DepthMap)，目前获取深度信息图的方式有两种，方案一，参照图1，对成像系统获取的包括目标物体2的图像1进行特征检测，并通过圈定一个包括目标物体2和部分背景画面4的特征框3，使得根据特征框3中的所有像素点，来计算目标物体2的深度信息，从而绘制目标物体2的深度信息图。方案二，直接采用图像语义分割(semanticsegmentation)算法或语意解析(semanticparsing)算法，对图像1进行针对目标物体2的识别，从而绘制目标物体2的深度信息图。但是，目前的方案一中，由于圈定的特征框3中包括了目标物体2以及部分背景画面4，使得利用特征框3绘制深度信息图的过程中，引入了大量无用的信息，如背景画面4的深度信息，目标物体2的一些非重要部分的深度信息等。使得最终绘制的深度信息图无法精确表达目标物体2，导致对目标物体2的跟踪定位精度较差。另外，方案二中，直接对图像1全图进行算法处理，导致需要较大的计算资源，使得处理成本较高。
技术实现思路
本专利技术提供一种图像处理方法、装置、控制终端及可移动设备，以便解决现有技术中确定物体的三维物理信息需要较大的计算资源，导致处理成本较高，且对物体的跟踪定位精度较差的问题。为了解决上述技术问题，本专利技术是这样实现的：第一方面，本专利技术实施例提供了一种图像处理方法，该方法可以包括：获取包括目标物体的目标图像；确定所述目标图像中的目标区域，所述目标物体至少主体部分位于所述目标区域内；在所述目标区域中，确定所述目标物体的主体特征区域；根据所述主体特征区域的初始深度信息，确定所述目标物体的深度信息；根据所述深度信息确定所述目标物体的三维物理信息。第二方面，本专利技术实施例提供了一种图像处理装置，该图像处理装置可以包括：所述接收器用于执行：获取包括目标物体的目标图像；所述处理器用于执行：确定所述目标图像中的目标区域，所述目标物体至少主体部分位于所述目标区域内；在所述目标区域中，确定所述目标物体的主体特征区域；根据所述主体特征区域的初始深度信息，确定所述目标物体的深度信息；根据所述深度信息确定所述目标物体的三维物理信息。本专利技术实施例的第三方面，提供了一种计算机可读存储介质，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现上述所述的图像处理方法的步骤。本专利技术实施例的第四方面，提供了一种控制终端，其特征在于，包括所述的图像处理装置，发射装置，接收装置，所述发射装置向可移动设备发送拍摄指令，所述接收装置接收所述可移动设备拍摄的图像，所述图像处理装置对所述图像进行处理。本专利技术实施例的第五方面，提供了一种可移动设备，包括拍摄装置，所述可移动设备还包括图像处理装置，所述图像处理装置接收所述拍摄装置拍摄的图像并进行图像处理。在本专利技术实施例中，本专利技术通过获取包括目标物体的目标图像；确定目标图像中的目标区域，目标物体至少主体部分位于目标区域内；在目标区域中，确定目标物体的主体特征区域；根据主体特征区域的初始深度信息，确定目标物体的深度信息，根据深度信息确定目标物体的三维物理信息。本专利技术在得到深度信息的过程中，由于去除了目标图像中的背景、遮挡物、目标物体的非主体部分的干扰，所以降低了在计算深度信息的过程中引入无用信息的几率，提高了三维物理信息的精度，另外，本专利技术是针对主体特征区域进行扫描和处理，从而得到对应目标物体的三维物理信息，相较于直接对整个目标图像进行扫描和处理，减少了计算量，提高了处理效率。附图说明图1是本专利技术实施例提供的一种图像处理方法的步骤流程图；图2是本专利技术实施例提供的一种目标图像的示意图；图3是本专利技术实施例提供的另一种目标图像的示意图；图4是本专利技术实施例提供的一种图像处理方法的具体步骤流程图；图5是本专利技术实施例提供的另一种图像处理方法的具体步骤流程图；图6是本专利技术实施例提供的另一种目标图像的示意图；图7是本专利技术实施例提供的一种目标物体的初始深度信息的获取场景图；图8是本专利技术实施例提供的另一种目标图像的示意图；图9是本专利技术实施例提供的一种时序匹配操作的的概率分布图；图10是本专利技术实施例提供的一种图像处理装置的框图；图11是本专利技术实施例提供的一种可移动设备的框图；图12是本专利技术实施例提供的一种控制终端的硬件结构示意图。具体实施例下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。图1是本专利技术实施例提供的一种图像处理方法的步骤流程图，如图1所示，该方法可以包括：步骤101、获取包括目标物体的目标图像。在本专利技术实施例中，本专利技术实施例提供的一种图像处理方法可以应用于一种可移动设备，该可移动设备包括：无人机、无人车、无人船、手持拍摄设备等，可移动设备上通常设置有具有拍摄功能的图像处理装置，另外，可移动设备的正常工作，离不开图像处理装置对可移动设备周边物体的拍摄和处理得到的物体的深度信息。例如，无人车在进行无人驾驶时，需要利用其上设置的图像处理装置实时采集无人车周边环境中物体的图像，并根据对该图像的进一步处理，得到该物体的深度信息，无人车可以利用深度信息，实现确定物体的方位的目的，以实现无人自动驾驶。在该步骤中，获取包括目标物体的目标图像，具体可以通过图像处理装置中的摄像头，拍摄一张或多张画面中具有目标物体的目标图像。步骤102、确定所述目标图像中的目标区域，所述目标物体至少主体部分位于所述目标区域内。具体的，在本专利技术实施例中，在获取到包括目标物体的目标图像之后，可以进一步确定目标图像中的目标区域，以达到检测目标图像中的物体的目的，其中，目标区域可以包括目标物体至少主体部分，即目标区域可以与目标物体的至少主体部分完全重叠或者部分重叠。参照图2，其示出了本专利技术实施例提供的一种目标图像的示意图，其中，目标图像10中包括人物目标物体11以及背景中的两个路灯12，若直接对整个目标图像10进行扫描来确定人物目标物体11的深度信息，首先会导致计算量过大，其次在确定人物目标物体11的深度信息的过程中会引入不相关的背景以及路灯12的相关信息，导致人物目标物体11的深度信息产生误差的几率较大。<本文档来自技高网...

【技术保护点】
1.一种图像处理方法，其特征在于，所述方法包括：/n获取包括目标物体的目标图像；/n确定所述目标图像中的目标区域，所述目标物体至少主体部分位于所述目标区域内；/n在所述目标区域中，确定所述目标物体的主体特征区域；/n根据所述主体特征区域的初始深度信息，确定所述目标物体的深度信息；/n根据所述深度信息确定所述目标物体的三维物理信息。/n

【技术特征摘要】
【国外来华专利技术】1.一种图像处理方法，其特征在于，所述方法包括：
获取包括目标物体的目标图像；
确定所述目标图像中的目标区域，所述目标物体至少主体部分位于所述目标区域内；
在所述目标区域中，确定所述目标物体的主体特征区域；
根据所述主体特征区域的初始深度信息，确定所述目标物体的深度信息；
根据所述深度信息确定所述目标物体的三维物理信息。


2.根据权利要求1所述的方法，其特征在于，所述在所述目标区域中，确定所述目标物体的主体特征区域的步骤，包括：
通过提取所述目标区域的边缘特征，将所述目标区域划分为多个子区域；
通过分类模型，确定多个所述子区域的分类类别；
在多个所述子区域中，合并与目标分类类别对应的子区域，得到所述主体特征区域。


3.根据权利要求1至2任一所述的方法，其特征在于，当所述目标物体处于受力或运动状态时，所述主体特征区域的轮廓的偏移量小于或等于预设阈值。


4.根据权利要求2所述的方法，其特征在于，所述通过分类模型，确定多个所述子区域的分类类别的步骤，包括：
通过卷积神经网络模型，确定多个所述子区域的分类类别；
或，通过分类器，确定多个所述子区域的分类类别。


5.根据权利要求1所述的方法，其特征在于，所述获取包括目标物体的目标图像的步骤，包括：
在预设时刻，通过双目摄像模组获取所述目标物体的第一图像以及第二图像。


6.根据权利要求5所述的方法，其特征在于，所述根据所述主体特征区域中像素点的初始深度信息，确定所述目标物体的深度信息的步骤，包括：
将所述第一图像的所述第一主体特征区域与所述第二图像进行匹配处理，和/或将所述第二图像的所述第二主体特征区域与所述第一图像进行匹配处理，计算得到所述初始深度信息；
根据所述初始深度信息，确定所述目标物体的深度信息。


7.根据权利要求6所述的方法，将所述第一图像的所述第一主体特征区域与所述第二图像进行匹配处理，和/或将所述第二图像的所述第二主体特征区域与所述第一图像进行匹配处理，计算得到所述初始深度信息，具体包括：
将所述第一图像的所述第一主体特征区域与所述第二图像进行匹配处理，和/或将所述第二图像的所述第二主体特征区域与所述第一图像进行匹配处理，得到视差值；
根据所述视差值，计算得到所述初始深度信息。


8.根据权利要求6或7所述的方法，将所述第一图像的所述第一主体特征区域与所述第二图像进行匹配处理，和/或将所述第二图像的所述第二主体特征区域与所述第一图像进行匹配处理具体包括：
将从所述第一特征区域中提取到的特征像素点在所述第二图像中进行匹配处理；和/或将从所述第二主体特征区域中提取到的特征像素点在所述第一图像中进行匹配处理。


9.根据权利要求8所述的方法，所述特征像素点为图像中灰度值变化大于预设阈值或图像边缘上曲率大于预设曲率值的像素点。


10.根据权利要求6所述的方法，在将所述第一图像的所述第一主体特征区域与所述第二图像进行匹配处理，和/或将所述第二图像的所述第二主体特征区域与所述第一图像进行匹配处理，计算得到所述初始深度信息之后，还包括：
在多个时刻，通过所述双目摄像模组获取所述目标物体的第一图像以及第二图像。


11.根据权利要求10所述的方法，在多个时刻，通过所述双目摄像模组获取所述目标物体的第一图像以及第二图像之后，还包括：
将所述第一图像的所述第一主体特征区域与对应时刻获取的所述第二图像进行匹配处理，和/或将所述第二图像的所述第二主体特征区域与对应时刻获取的所述第一图像进行匹配处理；
确定所述匹配处理的第一匹配成功次数。


12.根据权利要求11所述的方法，其特征在于，在多个时刻，通过所述双目摄像模组获取所述目标物体的第一图像以及第二图像之后，还包括：
将不同时刻获取的多个所述第一图像中的特征区域之间进行匹配处理；
确定所述匹配处理的第二匹配成功次数。


13.根据权利要求12所述的方法，所述根据所述初始深度信息，确定所述目标物体的深度信息，具体包括：
根据所述第一匹配成功次数和所述第二匹配成功次数，为所述初始深度信息设置权重值，所述权重值的大小随着所述匹配次数正相关；
根据所述初始深度信息，以及所述初始深度信息对应的权重值，进行加权平均计算，得到所述目标物体的深度信息。


14.根据权利要求1所述的方法，其特征在于，所述根据所述深度信息确定所述目标物体的三维物理信息，包括：
根据所述深度信息，确定所述目标物体在不同时刻下的位置坐标；
根据所述目标物体在不同时刻下的位置坐标，确定所述目标物体的三维物理信息。


15.一种图像处理装置，其特征在于，所述装置包括：接收器和处理器；
所述接收器用于执行：获取包括目标物体的目标图像；
所述处理器用于执行：
确定所述目标图像中的目标区域，所述目标物体至少主体部分位于所述目标区域内；
在所述目标区域中，确定所述目标物体的主体特征...

【专利技术属性】
技术研发人员：蔡剑钊，赵峰，周游，
申请(专利权)人：深圳市大疆创新科技有限公司，
类型：发明
国别省市：广东;44