图像处理方法及其装置制造方法及图纸

本发明专利技术提出一种图像处理方法及其装置，其中，方法包括：基于结构光获取用户的人体3D模型，根据用户的操作，从预设3D场景库中，选定目标场景模型，将人体3D模型与目标场景模型进行融合，得到拍摄模型，根据预先确定的拍摄视角，对拍摄模型进行成像，得到所需图像。本实施例中，基于结构光形成人体3D模型，由于人体3D模型和场景模型中都携带各个特征点的深度信息，从而可以根据深度信息将人体3D模型和场景模型进行融合，解决了现有技术中，无法根据用户拍摄需求随意更换场景，而直接更换场景会致使人体与场景融合的很不自然，用户体验差的问题。

Image processing method and its device

The present invention includes a method and apparatus for image processing, the method: 3D model of human body structure based on optical access to the user, according to the user's operation, from the default 3D scene database, select the target scene model, the 3D model of human body and target scene model fusion, taken model, according to a predetermined shooting angle, the imaging of shooting model, to obtain the desired image. In this embodiment, the formation of the body structure light based on the 3D model, the 3D model of human body and the depth information of scene model carry different feature points, which can be based on depth information fusion 3D model of human body and the scene model, solve the problems in the prior art, the user cannot change the scene according to the shooting, and direct replacement the scene will cause the human body and the fusion scene is very natural, the problem of poor user experience.

【技术实现步骤摘要】
图像处理方法及其装置
本专利技术涉及终端设备领域，尤其涉及一种图像处理方法及其装置。
技术介绍
随着互联网技术和图像处理技术的发展，不同地域的人与人之间，可以通过开启摄像头进行视频或者直播，以此来进行交流，操作简单，易于实现，通过在移动终端中下载应用软件，即可实现随时随地的直播或视频。目前，当用户有直播或者是视频需求时，所处的场景有可能并不满足用户的需求，如果再去临时寻找适合的场景，则会比较浪费时间。相关技术中，移动终端的部分应用程序中内置了部分固定的场景，当用户开启摄像头进行视频或者直播时，可以选取该场景，但是这样，获取到的人像和场景是不融合的，过渡非常不自然，用户体验较差。
技术实现思路
本专利技术旨在至少在一定程度上解决相关技术中的技术问题之一。为此，本专利技术提出一种图像处理方法，以实现基于结构光获取人体3D模型和场景模型，人体3D模型和场景模型均携带各个特征点的深度信息，根据深度信息可以使得人体和场景融合的更加自然，从而用户可以根据需要随意更换场景，提升了用户体验。本专利技术还提出一种图像处理装置。本专利技术还提出一种终端设备。本专利技术还提出一种一个或多个包含计算机可执行指令的非易失性计算机可读存储介质。本专利技术第一方面实施例提出了一种图像处理方法，包括：基于结构光获取用户的人体3D模型；根据用户的操作，从预设3D场景库中，选定目标场景模型；将所述人体3D模型与所述目标场景模型进行融合，得到拍摄模型；根据预先确定的拍摄视角，对所述拍摄模型进行成像，得到所需图像。本实施例的一种图像处理方法中，基于结构光获取用户的人体3D模型，根据用户的操作，从预设3D场景库中，选定目标场景模型，将人体3D模型与目标场景模型进行融合，得到拍摄模型，根据预先确定的拍摄视角，对拍摄模型进行成像，得到所需图像。本实施例中，基于结构光获取人体3D模型，由于人体3D模型携带各个特征点的深度信息，从而可以根据深度信息将人体3D模型和场景模型进行融合，不仅可以使得人体与场景融合的更加自然，而且可以根据用户需要随意更换目标场景，提升了用户体验。本专利技术第二方面实施例提出了一种图像处理装置，该装置包括：建模模块，用于基于结构光获取用户的人体3D模型；选取模块，用于根据用户的操作，从预设3D场景库中，选定目标场景模型；融合模块，用于将所述人体3D模型与所述目标场景模型进行融合，得到拍摄模型；成像模块，用于根据预先确定的拍摄视角，对所述拍摄模型进行成像，得到所需图像。本实施例的图像处理装置，建模模块用于根据结构光获取用户的人体3D模型，选取模块用于根据用户的操作，从预设3D场景库中，选定目标场景模型，融合模块用于将人体3D模型与目标场景模型进行融合，得到拍摄模型，成像模块用于根据预先确定的拍摄视角，对拍摄模型进行成像，得到所需图像。本实施例中，基于结构光获取人体3D模型，由于人体3D模型携带各个特征点的深度信息，从而可以根据深度信息将人体3D模型和场景模型进行融合，不仅可以使得人体与场景融合的更加自然，而且可以根据用户需要随意更换目标场景，提升了用户体验。本专利技术第三方面实施例提出了一种终端设备，包括存储器及处理器，所述存储器中储存有计算机可读指令，所述指令被所述处理器执行时，使得所述处理器执行第一方面实施例所述的图像处理方法。本专利技术第四方面实施例提出了一种一个或多个包含计算机可执行指令的非易失性计算机可读存储介质，当所述计算机可执行指令被一个或多个处理器执行时，使得所述处理器执行如第一方面实施例所述的图像处理方法。本专利技术附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本专利技术的实践了解到。附图说明本专利技术上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：图1为本专利技术实施例所提供的图像处理方法的流程示意图；图2为不同类型的结构光的示意图；图3为一个投射结构光的装置组合示意图；图4为本专利技术实施例所提供的另一种图像处理方法的流程示意图；图5为本专利技术实施例中非均匀的结构光的投影集合示意图；图6为本专利技术实施例提供的一种图像处理装置的结构示意图；图7为本专利技术实施例所提供的另一种图像处理装置的结构示意图；以及图8为本专利技术实施例所提供的图像处理电路900的示意图。具体实施方式下面详细描述本专利技术的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本专利技术，而不能理解为对本专利技术的限制。下面参考附图描述本专利技术实施例的图像处理方法及其装置。图1为本专利技术实施例所提供的图像处理方法的流程示意图。如图1所示，该图像处理方法包括以下步骤：步骤101，基于结构光获取用户的人体3D模型。结构光(StructuredLight)为投射特定的光到物体表面，由于物体表面是凹凸不平的，物体表面的变化以及可能的间隙会对照射来的光进行调制，再将其发射出去。摄像头采集该物体表面所反射的光，采集的发射光在摄像头中成像，所成图像上会携带光的畸变信息。一般情况下光的畸变程度与物体上各特征点的深度呈正比。进一步地，可以根据图像中携带的畸变信息计算出物体上各个特征点深度信息等，能够完成对物体的三维空间的复原。作为一种示例，生成结构光的设备可以是将光点、线、光栅、格网或斑纹投影到被测的物体表面上的投影设备或仪器，也可以是生成激光束的激光器。图2为不同类型的结构光的示意图，如图2所示，不同结构光的设备可以形成不同形式的结构光。本专利技术实施例提出的图像处理方法，可用于终端设备上，该终端设备可以为智能手机、平板电脑、ipad等。终端设备上可以安装有应用程序，通过应用程序可以调用生成结构光的设备，然后由生成结构光的设备向用户发出结构光。当结构光照射到用户身体上之后，由于用户的身体表面并不是平整的，所以身体在对结构光进行反射时，会造成结构光的畸变。进一步地由终端设备上的摄像头采集反射的结构光，进而在摄像头中的图像传感器上形成携带有畸变信息的二维图像。由于所形成的图像中包括人体上各特征点(面部、躯体以及四肢等)的深度信息，形成人体的深度图像，根据该深度图像重新建立人体的3D模型。作为一种可能的实现方式，本专利技术实施例中的摄像头可以为终端的前置摄像头。由此，当用户拿起终端并面对终端的显示屏方向时，可调用终端的投射装置和前置摄像头完成对该用户的人体3D模型的获取。作为一种可能的实现方式，图3为一个投射结构光的装置组合示意图。图3中仅以结构光的投影集合为线的集合进行示例，对于投影集合为散斑图案的结构光的原理类似。如图3所示，该装置中可以包括光学投射器和摄像机，其中，光学投射器将一定模式的结构光投射于被测物体(用户的身体)所处的空间内，在用户的身体上形成由身体表面的形状所调制的光条的三维图像。该三维图像由处于另一位置的摄像机探测，从而获得畸变的光条二维图像。光条的畸变程度取决于光学投射器与摄像机之间的相对位置和用户身体表面的轮廓，直观上，沿光条显示出的位移(或偏移)与用户身体表面的高度成比例，扭曲表示了平面的变化，不连续显示了用户身体表面的物理间隙，当光学投射器与摄像机之间的相对位置一定时，由畸变的光条二维图像坐标即可重现用户的身体表面的三维轮廓，即获得人体3本文档来自技高网...

【技术保护点】
一种图像处理方法，其特征在于，包括：基于结构光获取用户的人体3D模型；根据用户的操作，从预设3D场景库中，选定目标场景模型；将所述人体3D模型与所述目标场景模型进行融合，得到拍摄模型；根据预先确定的拍摄视角，对所述拍摄模型进行成像，得到所需图像。

【技术特征摘要】
1.一种图像处理方法，其特征在于，包括：基于结构光获取用户的人体3D模型；根据用户的操作，从预设3D场景库中，选定目标场景模型；将所述人体3D模型与所述目标场景模型进行融合，得到拍摄模型；根据预先确定的拍摄视角，对所述拍摄模型进行成像，得到所需图像。2.根据权利要求1所述的方法，其特征在于，所述将所述人体3D模型与所述目标场景模型进行融合，得到拍摄模型，包括：选取所述人体3D模型中的第一参考区域；获取所述第一参考区域的深度信息；从所述目标场景模型中，查询第二参考区域；所述第二参考区域的深度信息与所述第一参考区域的深度信息匹配；调整所述人体3D模型与所述目标场景模型的相对位置关系，以使所述第一参考区域和所述第二参考区域重合，得到所述拍摄模型。3.根据权利要求2所述的方法，其特征在于，所述获取所述第一参考区域的深度信息，包括：获取所述第一参考区域的中心点以及所述第一参考区域的各边缘点的深度信息；根据所述中心点的深度信息和所述各边缘点的深度信息进行加权平均，形成第一参考区域的深度信息。4.根据权利要求2所述的方法，其特征在于，所述选取所述人体3D模型中的第一参考区域，包括：根据所述人体3D模型中人体的姿态，预测所述人体与场景的接触区域；所述接触区域包括臀部区域、脚部区域、手部区域中的至少一个；根据所述人体与场景的接触区域，从所述人体3D模型中选取第一参考区域。5.根据权利要求1-4任一项所述的方法，其特征在于，所述基于结构光获取用户的人体3D模型，包括：向当前场...

【专利技术属性】
技术研发人员：张学勇，
申请(专利权)人：广东欧珀移动通信有限公司，
类型：发明
国别省市：广东,44