一种图像生成方法和装置制造方法及图纸

本申请实施例提供了一种图像生成方法和装置，获取待处理图像；基于对各待处理图像进行图像分割，分别确定各待处理图像中前景对象所占的前景图像区域；从各前景图像区域中，确定包含的前景对象的完整度最大的指定的前景图像区域；针对前景对象在指定监测视角下的每一像素坐标，确定该像素坐标在指定的前景图像区域中对应的像素点的像素值，作为该像素坐标的像素值，得到前景对象在指定监测视角下的待投影图像；依次将包含目标场景中的背景的背景图像在指定监测视角下的图像和待投影图像，投影至目标场景的三维场景模型，得到目标场景在指定监测视角下的目标图像，可以提高生成的图像的质量。像的质量。像的质量。

【技术实现步骤摘要】
一种图像生成方法和装置


[0001]本申请涉及图像处理
，特别是涉及一种图像生成方法和装置。

技术介绍

[0002]相关技术中，可以在目标场景中的不同位置架设多个相机，通过该多个相机拍摄目标场景在不同拍摄视角下的图像(可以称为待处理图像)。然后，获取目标场景的三维场景模型，并将待处理图像映射至上述三维场景模型。基于映射结果，用户可以观看到不同监测视角下目标场景的图像。
[0003]然而，针对目标场景中运动的对象，运动的对象在运动的过程中，会导致在某一时刻架设相机采集到的待处理图像中可能仅包含运动的对象的局部图像，进而导致用户浏览到的图像中该运动的对象会发生缺失。即，相关技术中，生成的图像的质量较低。

技术实现思路

[0004]本申请实施例的目的在于提供一种图像生成方法和装置，以提高生成的图像的质量。
[0005]具体技术方案如下：
[0006]第一方面，为了达到上述目的，本申请实施例公开了一种图像生成方法，所述方法包括：
[0007]获取目标场景中各架设相机对应的待处理图像；其中，一个架设相机对应的待处理图像为基于该架设相机采集的所述目标场景的图像得到的；所述各架设相机满足预设的约束条件，所述约束条件为：在任一时刻，针对所述目标场景中的每一前景对象，各架设相机采集到的图像中至少存在一个图像包含完整的该前景对象；
[0008]基于对各待处理图像进行图像分割，分别确定各待处理图像中前景对象所占的图像区域，作为所述前景对象对应的前景图像区域；
[0009]从各前景图像区域中，确定包含的所述前景对象的完整度最大的图像区域，作为指定的前景图像区域；
[0010]针对所述前景对象在指定监测视角下的每一像素坐标，确定该像素坐标在指定的前景图像区域中对应的像素点的像素值，作为该像素坐标的像素值，得到所述前景对象在所述指定监测视角下的待投影图像；
[0011]获取指定的前景图像区域对应的架设相机采集的包含目标场景中的背景的图像，作为背景图像；
[0012]依次将所述背景图像在所述指定监测视角下的图像和所述待投影图像，投影至所述目标场景的三维场景模型，得到所述目标场景在所述指定监测视角下的目标图像。
[0013]可选的，在所述获取目标场景中各架设相机对应的待处理图像之前，所述方法还包括：
[0014]获取所述各架设相机当前的架设参数；
[0015]判断基于当前的架设参数，所述各架设相机是否满足预设的约束条件；
[0016]若基于当前的架设参数，各架设相机不满足所述约束条件，则向控制设备发送控制指令，以使所述控制设备根据所述控制指令调整各架设相机的架设参数，使得基于调整后的架设参数所述各架设相机满足所述约束条件。
[0017]可选的，所述针对所述前景对象在指定监测视角下的每一像素坐标，确定该像素坐标在指定的前景图像区域中对应的像素点的像素值，作为该像素坐标的像素值，得到所述前景对象在所述指定监测视角下的待投影图像，包括：
[0018]针对所述前景对象在指定监测视角下的每一像素坐标，基于指定的前景图像区域中的图像坐标与所述指定监测视角成像的图像坐标之间的第一转换关系，确定该像素坐标在指定的前景图像区域中对应的像素点的像素值，作为该像素坐标的像素值，得到所述前景对象在所述指定监测视角下的待投影图像。
[0019]可选的，在所述针对所述前景对象在指定监测视角下的每一像素坐标，确定该像素坐标在指定的前景图像区域中对应的像素点的像素值，作为该像素坐标的像素值，得到所述前景对象在所述指定监测视角下的待投影图像之前，所述方法还包括：
[0020]基于各前景图像区域，以及各待处理图像的图像坐标与所述目标场景的空间坐标之间的各第二转换关系，确定所述前景对象在所述目标场景中的三维位姿平面；
[0021]所述针对所述前景对象在指定监测视角下的每一像素坐标，确定该像素坐标在指定的前景图像区域中对应的像素点的像素值，作为该像素坐标的像素值，得到所述前景对象在所述指定监测视角下的待投影图像，包括：
[0022]针对所述前景对象在指定监测视角下的每一像素坐标，基于指定的前景图像区域中的图像坐标与所述三维位姿平面中的三维坐标之间的第三转换关系，以及所述指定监测视角下成像的图像坐标与所述三维位姿平面中的三维坐标之间的第四转换关系，确定该像素坐标在指定的前景图像区域中对应的像素点的像素值，作为该像素坐标的像素值，得到所述前景对象在所述指定监测视角下的待投影图像。
[0023]可选的，所述基于各前景图像区域，以及各待处理图像的图像坐标与所述目标场景的空间坐标之间的各第二转换关系，确定所述前景对象在所述目标场景中的三维位姿平面，包括：
[0024]确定对应的待处理图像包含所述前景对象的两个架设相机，作为指定架设相机；
[0025]针对每一指定架设相机，确定该指定架设相机对应的待处理图像中包含所述前景对象的检测框；
[0026]基于该指定架设相机对应的图像坐标与所述空间坐标之间的第二转换关系，确定所述检测框中的指定点在所述目标场景中对应的三维点；
[0027]确定包含该指定架设相机的光心和对应的三维点的平面，作为该指定架设相机对应的参考平面；
[0028]确定经过各参考平面的交线，且与水平面呈指定角度的平面，作为所述前景对象在所述目标场景中的三维位姿平面。
[0029]可选的，所述确定经过各参考平面的交线，且与水平面呈指定角度的平面，作为所述前景对象在所述目标场景中的三维位姿平面，包括：
[0030]以各参考平面的交线为旋转轴，按照所述指定角度，对经过所述旋转轴，且与水平
面平行的初始物平面进行旋转，得到所述前景对象在所述目标场景中的三维位姿平面。
[0031]可选的，在所述针对所述前景对象在指定监测视角下的每一像素坐标，确定该像素坐标在指定的前景图像区域中对应的像素点的像素值，作为该像素坐标的像素值，得到所述前景对象在所述指定监测视角下的待投影图像之前，所述方法还包括：
[0032]确定所述前景对象在指定的前景图像区域所属的待处理图像中的边缘像素点；
[0033]针对每一边缘像素点，确定该边缘像素点在所述指定监测视角下的对应的像素坐标，作为边缘像素坐标；
[0034]确定以所述边缘像素坐标为边缘的区域包含的像素坐标，作为所述前景对象在所述指定监测视角下的像素坐标。
[0035]可选的，所述基于对各待处理图像进行图像分割，分别确定各待处理图像中前景对象所占的图像区域，作为所述前景对象对应的前景图像区域，包括：
[0036]基于对各待处理图像进行图像分割，得到各待处理图像中各前景对象所占的图像区域，作为待处理图像区域；
[0037]基于各待处理图区域之间的图像相似度，确定属于同一前景对象的待处理图像区域，作为该前景对象对应的前景图像区域。
[0038]可选的，所述获取目标场景中各架设相机对应的待处理图像，包括本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像生成方法，其特征在于，所述方法包括：获取目标场景中各架设相机对应的待处理图像；其中，一个架设相机对应的待处理图像为基于该架设相机采集的所述目标场景的图像得到的；所述各架设相机满足预设的约束条件，所述约束条件为：在任一时刻，针对所述目标场景中的每一前景对象，各架设相机采集到的图像中至少存在一个图像包含完整的该前景对象；基于对各待处理图像进行图像分割，分别确定各待处理图像中前景对象所占的图像区域，作为所述前景对象对应的前景图像区域；从各前景图像区域中，确定包含的所述前景对象的完整度最大的图像区域，作为指定的前景图像区域；针对所述前景对象在指定监测视角下的每一像素坐标，确定该像素坐标在指定的前景图像区域中对应的像素点的像素值，作为该像素坐标的像素值，得到所述前景对象在所述指定监测视角下的待投影图像；获取指定的前景图像区域对应的架设相机采集的包含目标场景中的背景的图像，作为背景图像；依次将所述背景图像在所述指定监测视角下的图像和所述待投影图像，投影至所述目标场景的三维场景模型，得到所述目标场景在所述指定监测视角下的目标图像。2.根据权利要求1所述的方法，其特征在于，在所述获取目标场景中各架设相机对应的待处理图像之前，所述方法还包括：获取所述各架设相机当前的架设参数；判断基于当前的架设参数，所述各架设相机是否满足预设的约束条件；若基于当前的架设参数，各架设相机不满足所述约束条件，则向控制设备发送控制指令，以使所述控制设备根据所述控制指令调整各架设相机的架设参数，使得基于调整后的架设参数所述各架设相机满足所述约束条件。3.根据权利要求1所述的方法，其特征在于，所述针对所述前景对象在指定监测视角下的每一像素坐标，确定该像素坐标在指定的前景图像区域中对应的像素点的像素值，作为该像素坐标的像素值，得到所述前景对象在所述指定监测视角下的待投影图像，包括：针对所述前景对象在指定监测视角下的每一像素坐标，基于指定的前景图像区域中的图像坐标与所述指定监测视角成像的图像坐标之间的第一转换关系，确定该像素坐标在指定的前景图像区域中对应的像素点的像素值，作为该像素坐标的像素值，得到所述前景对象在所述指定监测视角下的待投影图像。4.根据权利要求1所述的方法，其特征在于，在所述针对所述前景对象在指定监测视角下的每一像素坐标，确定该像素坐标在指定的前景图像区域中对应的像素点的像素值，作为该像素坐标的像素值，得到所述前景对象在所述指定监测视角下的待投影图像之前，所述方法还包括：基于各前景图像区域，以及各待处理图像的图像坐标与所述目标场景的空间坐标之间的各第二转换关系，确定所述前景对象在所述目标场景中的三维位姿平面；所述针对所述前景对象在指定监测视角下的每一像素坐标，确定该像素坐标在指定的前景图像区域中对应的像素点的像素值，作为该像素坐标的像素值，得到所述前景对象在所述指定监测视角下的待投影图像，包括：
针对所述前景对象在指定监测视角下的每一像素坐标，基于指定的前景图像区域中的图像坐标与所述三维位姿平面中的三维坐标之间的第三转换关系，以及所述指定监测视角下成像的图像坐标与所述三维位姿平面中的三维坐标之间的第四转换关系，确定该像素坐标在指定的前景图像区域中对应的像素点的像素值，作为该像素坐标的像素值，得到所述前景对象在所述指定监测视角下的待投影图像。5.根据权利要求4所述的方法，其特征在于，所述基于各前景图像区域，以及各待处理图像的图像坐标与所述目标场景的空间坐标之间的各第二转换关系，确定所述前景对象在所述目标场景中的三维位姿平面，包括：确定对应的待处理图像包含所述前景对象的两个架设相机，作为指定架设相机；针对每一指定架设相机，确定该指定架设相机对应的待处理图像中包含所述前景对象的检测框；基于该指定架设相机对应的图像坐标与所述空间坐标之间的第二转换关系，确定所述检测框中的指定点在所述目标场景中对应...

【专利技术属性】
技术研发人员：王川川，许娅彤，李杰，毛慧，
申请(专利权)人：杭州海康威视数字技术股份有限公司，
类型：发明
国别省市：