一种三维信息确定方法、三维信息确定装置及终端设备制造方法及图纸

本申请提供了一种三维信息确定方法、三维信息确定装置及终端设备，所述方法包括：获取包含待检测目标的第一图像以及与该第一图像对齐的深度图像；识别所述第一图像中所述待检测目标的各个关键点，以确定所述待检测目标的各个关键点的第一初始二维坐标；对于每个所述关键点，根据该关键点的第一初始二维坐标，确定该关键点的修正二维坐标；对于每个所述关键点，根据该关键点的修正二维坐标，在所述深度图像中查找该修正二维坐标对应的深度值，得到该关键点的深度值；对于每个所述关键点，根据该关键点的修正二维坐标以及深度值，计算该关键点的三维坐标。本申请可以解决“如何获取现实世界中目标的准确三维信息”的技术问题。

【技术实现步骤摘要】
一种三维信息确定方法、三维信息确定装置及终端设备
本申请属于图像处理
，尤其涉及一种三维信息确定方法、三维信息确定装置、终端设备及计算机可读存储介质。
技术介绍
增强现实是图像处理的一个应用方向，增强现实可以应用在教育、娱乐、旅游等各个领域。为了将虚拟物体准确透射到现实世界，或者得到处理效果更逼真的增强现实图像，需要终端设备获取准确的现实世界中目标的三维信息，因此，如何获取到现实世界中目标的准确三维信息，是目前亟待解决的技术问题。
技术实现思路
有鉴于此，本申请提供了一种三维信息确定方法、三维信息确定装置、终端设备及计算机可读存储介质，可以解决如何获取现实世界中目标的准确三维信息的技术问题。本申请第一方面提供了一种三维信息确定方法，包括：获取包含待检测目标的第一图像以及与该第一图像对齐的深度图像；识别上述第一图像中上述待检测目标的各个关键点，以确定上述第一图像中上述待检测目标的各个关键点的第一初始二维坐标，其中，每个关键点的第一初始二维坐标用于指示该关键点在上述第一图像中的位置；对于每个上述关键点，根据该关键点的第一初始二维坐标，确定该关键点的修正二维坐标；对于每个上述关键点，根据该关键点的修正二维坐标，在上述深度图像中查找该修正二维坐标对应的深度值，得到该关键点的深度值；对于每个所述关键点，根据该关键点的修正二维坐标以及深度值，计算该关键点的三维坐标。本申请实施例的第二方面提供了一种三维信息确定装置，包括：图像获取模块，用于获取包含待检测目标的第一图像以及与该第一图像对齐的深度图像；第一坐标确定模块，用于识别上述第一图像中上述待检测目标的各个关键点，以确定上述第一图像中上述待检测目标的各个关键点的第一初始二维坐标，其中，每个关键点的第一初始二维坐标用于指示该关键点在上述第一图像中的位置；修正坐标确定模块，用于对于每个上述关键点，根据该关键点的第一初始二维坐标，确定该关键点的修正二维坐标；深度确定模块，用于对于每个上述关键点，根据该关键点的修正二维坐标，在上述深度图像中查找该修正二维坐标对应的深度值，得到该关键点的深度值；三维坐标计算模块，用于对于每个所述关键点，根据该关键点的修正二维坐标以及深度值，计算该关键点的三维坐标。本申请第三方面提供了一种终端设备，包括第一测距传感器、第二测距传感器、存储器、处理器以及存储在上述存储器中并可在上述处理器上运行的计算机程序，上述处理器执行上述计算机程序时实现如上述第一方面方法的步骤。本申请第四方面提供了一种计算机可读存储介质，上述计算机可读存储介质存储有计算机程序，上述计算机程序被处理器执行时实现如上述第一方面方法的步骤。本申请第五方面提供了一种计算机程序产品，上述计算机程序产品包括计算机程序，上述计算机程序被一个或多个处理器执行时实现如上述第一方面方法的步骤。由上可见，本申请提供了一种三维信息确定方法，首先，获取包含待检测目标的第一图像以及与该第一图像对齐的深度图像，比如，获取包含待检测目标的彩色图像以及与该彩色图像对齐的深度图像；其次，识别上述第一图像中上述待检测目标的各个关键点，以确定上述第一图像中上述待检测目标的各个关键点的第一初始二维坐标，其中，每个关键点的第一初始二维坐标用于指示该关键点在上述第一图像中的位置，对于每个上述关键点，根据该关键点的第一初始二维坐标，确定该关键点的修正二维坐标，该步骤的目的即是用来确定各个关键点分别在上述第一图像中的位置；然后，对于每个上述关键点，根据该关键点的修正二维坐标，在上述深度图像中查找该修正二维坐标对应的深度值，得到该关键点的深度值，在该步骤中，对于某个关键点，依据该关键点的修正二维坐标，在与第一图像对齐的深度图像中查找该修正二维坐标处像素点的深度值，将查找到的深度值确定为该关键点的深度值；最后，对于每个关键点，根据该关键点的修正二维坐标以及深度值，计算该关键点的三维坐标。本申请在确定三维坐标时，所依据的是与第一图像对齐的深度图像，因此，可以较为准确的获取各个关键点的深度值，从而使得所计算的三维坐标更加精确。因此，本申请所提供的技术方案可以解决“如何获取现实世界中目标的准确三维信息”的技术问题。附图说明为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。图1是本申请实施例一提供的一种三维信息确定方法的实现流程示意图；图2是本申请实施例一提供的三维坐标计算过程示意图；图3是本申请实施例二提供的另一种三维信息确定方法的实现流程示意图；图4是本申请实施例三提供的一种三维信息确定装置的结构示意图；图5是本申请实施例四提供的终端设备的结构示意图。具体实施方式以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。本申请实施例提供的三维信息确定方法可以适用于终端设备，示例性地，该终端设备包括但不限于：智能手机、平板电脑、笔记本、智能可穿戴设备、桌上型计算机等。应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。还应当进一步理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。另外，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。为了说明本申请上述的技术方案，下面通过具体实施例来进行说明。实施例一下面对本申请实施例一提供的三维信息确定方法进行描述。请参阅附图1，本申请实施例一提供的三维信息确定方法包括：在步骤S101中，获取包含待检测目标的第一图像以及与该第一图像对齐的深度图像；在本申请实施例中，上述待检测目标可以是狗、蜜蜂、人脸或者手部等，本申请并不对该待检测目标的类型进行限定。上述第一图像为利用图像传感器采集的图像，该第一图像可以是彩色图像，也可以是灰度图像。通常情况下，深度相机与采集灰度图或彩色图的摄像机的视角不同，因此，为了便于后续能够根据深度相机采集的图像，准确地确定第一图像中各个关键点的深度值，需要将深度相机采集的图像与第一图像进行对齐，以使得在确定第一图像中某个关键点的深度值时，能够直接根据该关键点在第一图像中的位置确定该关键点的深度本文档来自技高网...

【技术保护点】
1.一种三维信息确定方法，其特征在于，包括：/n获取包含待检测目标的第一图像以及与所述第一图像对齐的深度图像；/n识别所述第一图像中所述待检测目标的各个关键点，以确定所述第一图像中所述待检测目标的各个关键点的第一初始二维坐标，其中，每个所述关键点的第一初始二维坐标用于指示该关键点在所述第一图像中的位置；/n对于每个所述关键点，根据该关键点的第一初始二维坐标，确定该关键点的修正二维坐标；/n对于每个所述关键点，根据该关键点的修正二维坐标，在所述深度图像中查找该修正二维坐标对应的深度值，得到该关键点的深度值；/n对于每个所述关键点，根据该关键点的修正二维坐标以及深度值，计算该关键点的三维坐标。/n

【技术特征摘要】
1.一种三维信息确定方法，其特征在于，包括：
获取包含待检测目标的第一图像以及与所述第一图像对齐的深度图像；
识别所述第一图像中所述待检测目标的各个关键点，以确定所述第一图像中所述待检测目标的各个关键点的第一初始二维坐标，其中，每个所述关键点的第一初始二维坐标用于指示该关键点在所述第一图像中的位置；
对于每个所述关键点，根据该关键点的第一初始二维坐标，确定该关键点的修正二维坐标；
对于每个所述关键点，根据该关键点的修正二维坐标，在所述深度图像中查找该修正二维坐标对应的深度值，得到该关键点的深度值；
对于每个所述关键点，根据该关键点的修正二维坐标以及深度值，计算该关键点的三维坐标。


2.如权利要求1所述的三维信息确定方法，其特征在于，所述对于每个所述关键点，根据该关键点的第一初始二维坐标，确定该关键点的修正二维坐标，包括：
对于每个所述关键点，将该关键点的第一初始二维坐标作为该关键点的修正二维坐标。


3.如权利要求1所述的三维信息确定方法，其特征在于，所述对于每个所述关键点，根据该关键点的第一初始二维坐标，确定该关键点的修正二维坐标，包括：
获取第二图像集合，所述第二图像集合中包括一张或多张第二图像，所述第二图像集合中的各张第二图像为在当前时刻之前对所述待检测目标按照时间先后依次采集的图像，所述当前时刻为采集所述第一图像的时刻；
根据所述第二图像集合，对各个所述关键点进行追踪，以预测每个所述关键点在所述第一图像中的第二初始二维坐标；
对于每个所述关键点，根据该关键点的第一初始二维坐标以及第二初始二维坐标，确定该关键点的修正二维坐标。


4.如权利要求3所述的三维信息确定方法，其特征在于，所述对于每个所述关键点，根据该关键点的第一初始二维坐标以及第二初始二维坐标，确定该关键点的修正二维坐标，包括：
对于每个所述关键点，将该关键点的第一初始二维坐标以及第二初始二维坐标代入二维坐标确定公式，计算该关键点的修正二维坐标，其中，所述二维坐标确定公式为：
[x,y]＝[w1x1+w2x2,w1y1+w2y2]
其中，w1+w2＝1，[x,y]为该关键点的修正二维坐标，[x1,y1]为该关键点的第一初始二维坐标，[x2,y2]为该关键点的第二初...

【专利技术属性】
技术研发人员：江若成，
申请(专利权)人：OPPO广东移动通信有限公司，
类型：发明
国别省市：广东;44