【技术实现步骤摘要】
本申请实施例涉及图像处理，尤其涉及一种图像拼接方法、装置、设备、介质及程序产品。
技术介绍
1、图像拼接技术，是将数张存在重叠区域的图像拼接成一幅较大的高分辨率图像的技术。通过图像拼接，使得普通相机获取更为宽广的视角，如生成360°全景图像。
2、图像拼接通常依赖于图像特征的提取和匹配，基于重叠区域的图像特征，计算得到相机之间的单应性矩阵，实现将其他相机采集的图像转换至选定的参考相机的图像坐标系上，完成图像拼接。
3、然而，依赖于图像特征的图像拼接方式，无法应用于低纹理的应用场景，应用场景受限。
技术实现思路
1、本申请实施例提供一种图像拼接方法、装置、设备、介质及程序产品，实现了基于相机参数的图像拼接方法，弱化了对图像特征的依赖，应用场景广。
2、第一方面，本申请实施例提供一种图像拼接方法，包括：
3、针对相机阵列采集的视频帧，提取所述参考图像和所述待拼接图像的特征点，所述相机阵列包括多个内参矩阵相同的相机；基于所述内参矩阵以及所述相机阵列中的相机标定的外参矩阵，确定各所述特征点的世界坐标；基于特征点的世界坐标、所述参考和所述标定的外参矩阵，确定所述待拼接图像相对于所述参考图像的单应性变换矩阵；基于所述单应性变换矩阵，对所述待拼接图像进行坐标变换，得到目标待拼接图像；基于所述目标待拼接图像与所述参考图像的最佳拼接缝，完成图像拼接操作。
4、可选的，所述参考图像由所述相机阵列中的参考相机采集，所述拼接图像由所述相机阵列中的
5、所述基于所述内参矩阵、所述相机阵列中的相机标定的外参矩阵，确定各所述特征点的世界坐标，包括：
6、基于所述内参矩阵、所述参考相机标定的外参矩阵以及所述目标相机标定的外参矩阵，确定各所述特征点的世界坐标。
7、可选的，所述基于特征点的世界坐标、所述内参矩阵和所述标定的外参矩阵，确定所述待拼接图像相对于所述参考图像的单应性变换矩阵，包括：
8、基于最邻近匹配算法，确定所述待拼接图像和所述参考图像中世界坐标匹配的特征点对；基于所述特征点对中各特征点在对应图像上的图像坐标，以及所述参考相机的内参矩阵和外参矩阵，确定所述待拼接图像相对于所述参考图像的单应性变换矩阵。
9、可选的，所述基于所述特征点对中各特征点在对应图像上的图像坐标，以及所述参考相机的内参矩阵和外参矩阵，确定所述待拼接图像相对于所述参考图像的单应性变换矩阵，包括：
10、基于随机抽样一致算法，对匹配的特征点对进行筛选；基于筛选后的特征点对中各特征点在对应图像上的图像坐标，确定第一转换矩阵；基于所述第一转换矩阵，以及所述参考相机的内参矩阵和外参矩阵，确定所述单应性变换矩阵。
11、可选的，在基于特征点的世界坐标、所述内参矩阵和所述标定的外参矩阵，确定所述待拼接图像相对于所述参考图像的单应性变换矩阵之后，包括：
12、针对所述相机阵列后续采集的视频帧，基于所述单应性变换矩阵，对后续待拼接图像进行坐标变换，得到后续目标待拼接图像；针对所述相机阵列采集的上一视频帧，获取上一目标待拼接图像与上一参考图像的第一最佳拼接缝；判断后续参考图像及后续目标拼接图像在拼接缝处是否存在运动物体；若是，则执行最佳拼接缝更新操作；若否，则将所述第一最佳拼接缝作为最佳拼接缝，完成后续参考图像与后续目标拼接图像的图像拼接操作。
13、可选的，所述判断后续参考图像及后续目标拼接图像在拼接缝处是否存在运动物体，包括：
14、获取所述上一参考图像以及所述上一目标拼接图像在拼接缝处像素的梯度值，记为第一梯度值；获取后续参考图像及后续目标拼接图像在拼接缝处像素的梯度值，记为第二梯度值；根据所述第一梯度值和所述第二梯度值，判断后续参考图像及后续目标拼接图像在拼接缝处是否存在运动物体。
15、可选的，根据所述第一梯度值和所述第二梯度值，判断后续参考图像及后续目标拼接图像在拼接缝处是否存在运动物体，包括：
16、基于所述第一梯度值以及所述第二梯度值，计算后续参考图像及后续目标拼接图像在拼接缝处各像素的梯度变化值，得到梯度变化集合；；从所述梯度变化集合中选择两个梯度变化值作为梯度变化中心；计算所述梯度变化集合中梯度变化值与各所述梯度变化中心的距离；基于所述距离，将所述梯度变化集合中的梯度变化值分为两组；更新梯度变化中心为各组梯度变化值的平均值；判断更新前后的梯度变化中心是否相同；若更新前后的梯度变化中心相同，则判断梯度变化值平均值较大的一组中梯度变化值的数量是否大于预设数量；若以在梯度变化值平均值较大的一组中梯度变化值的数量大于预设数量时，确定后续参考图像及后续目标拼接图像在拼接缝处存在运动物体；若更新前后的梯度变化中心不相同，则返回执行计算所述梯度变化集合中梯度变化值与各梯度变化中心的距离的步骤。
17、可选的，所述执行最佳拼接缝更新操作，包括：
18、从后续参考图像及后续目标拼接图像的拼接缝中，重新搜索最佳拼接缝，得到第二最佳拼接缝，并更新最佳拼接缝为所述第二最佳拼接缝；基于所述第二最佳拼接缝，拼接所述后续参考图像及所述后续目标拼接图像。
19、可选的，在完成图像拼接操作之后，所述方法还包括：
20、显示由图像拼接操作得到的视频全景图。
21、第二方面，本申请实施例还提供一种图像拼接装置，包括：
22、特征点提取模块，用于针对相机阵列采集的视频帧，提取所述参考图像和所述待拼接图像的特征点，所述相机阵列包括多个内参矩阵相同的相机；世界坐标确定模块，用于基于所述内参矩阵以及所述相机阵列中的相机标定的外参矩阵，确定各所述特征点的世界坐标；变换矩阵确定模块，用于基于特征点的世界坐标、所述内参矩阵和所述标定的外参矩阵，确定所述待拼接图像相对于所述参考图像的单应性变换矩阵；图像变换模块，用于基于所述单应性变换矩阵，对所述待拼接图像进行坐标变换，得到目标待拼接图像；拼接模块，用于基于所述目标待拼接图像与所述参考图像的最佳拼接缝，完成图像拼接操作。
23、可选的，所述参考图像由所述相机阵列中的参考相机采集，所述拼接图像由所述相机阵列中的目标相机采集，所述目标相机为所述相机阵列中除所述参考相机以外的其他相机；特征点提取模块，具体用于：
24、基于所述内参矩阵、所述参考相机标定的外参矩阵以及所述目标相机标定的外参矩阵，确定各所述特征点的世界坐标。
25、可选的，变换矩阵确定模块，包括：
26、特征点对确定单元，用于基于最邻近匹配算法，确定所述待拼接图像和所述参考图像中世界坐标匹配的特征点对；变换矩阵确定单元，用于基于所述特征点对中各特征点在对应图像上的图像坐标，以及所述参考相机的内参矩阵和外参矩阵，确定所述待拼接图像相对于所述参考图像的单应性变换矩阵。
27、可选的，变换矩阵确定单元，具体用于：本文档来自技高网...
【技术保护点】
1.一种图像拼接方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述参考图像由所述相机阵列中的参考相机采集，所述拼接图像由所述相机阵列中的目标相机采集，所述目标相机为所述相机阵列中除所述参考相机以外的其他相机；
3.根据权利要求2所述的方法，其特征在于，所述基于特征点的世界坐标、所述内参矩阵和所述标定的外参矩阵，确定所述待拼接图像相对于所述参考图像的单应性变换矩阵，包括：
4.根据权利要求3所述的方法，其特征在于，所述基于所述特征点对中各特征点在对应图像上的图像坐标，以及所述参考相机的内参矩阵和外参矩阵，确定所述待拼接图像相对于所述参考图像的单应性变换矩阵，包括：
5.根据权利要求1所述的方法，其特征在于，在基于特征点的世界坐标、所述内参矩阵和所述标定的外参矩阵，确定所述待拼接图像相对于所述参考图像的单应性变换矩阵之后，包括：
6.根据权利要求5所述的方法，其特征在于，所述判断后续参考图像及后续目标拼接图像在拼接缝处是否存在运动物体，包括：
7.根据权利要求6所述的方法，其特征在于，根据所
8.根据权利要求5所述的方法，其特征在于，所述执行最佳拼接缝更新操作，包括：
9.根据权利要求1-8任一项所述的方法，其特征在于，在完成图像拼接操作之后，所述方法还包括：
10.一种图像拼接装置，其特征在于，包括：
11.一种图像拼接设备，其特征在于，包括：存储器和至少一个处理器；
12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如权利要求1-9任一项所述的图像拼接方法。
13.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-9任一项所述的图像拼接方法。
...【技术特征摘要】
1.一种图像拼接方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述参考图像由所述相机阵列中的参考相机采集，所述拼接图像由所述相机阵列中的目标相机采集，所述目标相机为所述相机阵列中除所述参考相机以外的其他相机；
3.根据权利要求2所述的方法，其特征在于，所述基于特征点的世界坐标、所述内参矩阵和所述标定的外参矩阵，确定所述待拼接图像相对于所述参考图像的单应性变换矩阵，包括：
4.根据权利要求3所述的方法，其特征在于，所述基于所述特征点对中各特征点在对应图像上的图像坐标，以及所述参考相机的内参矩阵和外参矩阵，确定所述待拼接图像相对于所述参考图像的单应性变换矩阵，包括：
5.根据权利要求1所述的方法，其特征在于，在基于特征点的世界坐标、所述内参矩阵和所述标定的外参矩阵，确定所述待拼接图像相对于所述参考图像的单应性变换矩阵之后，包括：
6.根据权利要求5所述的方法，其特征在于，所述判断后续参...
【专利技术属性】
技术研发人员：唐宗福，王华君，黄良，刘雨，刘琼，曾勇松，
申请(专利权)人：深圳市裕同包装科技股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。