本发明专利技术涉及全景影像畸变校正方法、装置、电子设备及介质，方法包括：采集目标场景的全景影像；将所述全景影像投影切分为多视角序列鱼眼影像；对所述多视角序列鱼眼影像中的单张鱼眼影像进行单影像检校参数计算，得到单影像检校参数；基于所述单影像检校参数和所述多视角序列鱼眼影像，对全景投影切分出的同一视角的多张鱼眼影像作后方交会联合平差，得到各视角鱼眼影像的内部参数和畸变系数；根据各鱼眼影像的内部参数和畸变系数，对各鱼眼影像进行畸变矫正。本发明专利技术解决了全景各镜头影像拼接时产生拼接线造成标定板错位影响二维棋盘格标定法标定精度的问题，对任意场景的影像畸变矫正精度均较高，相比于通用的二维标定法有更强的适用性和准确性。
【技术实现步骤摘要】
本专利技术涉及影像检校和纠正，尤其涉及全景影像畸变校正方法、装置、电子设备及介质。
技术介绍
1、全景影像是实时拍摄并记录全景摄像机镜头周围360°~720°地物情况的影像，可以从视场角和连续场景两个维度增加对场景及场景中对象的多视覆盖。
2、全景影像在使用前，需对其检校获取内部参数和畸变系数，而全景数据由全景相机的多个鱼眼镜头拍摄并拼接而成，常用的全景相机镜头类型包括双镜头、4镜头、6镜头等，由于不同相机的投影模型和成像、拼接方式不尽相同，对研究普适的全景相机影像检校方法造成了困难。
3、近年来，图像标定大多使用基于单平面棋盘格相机标定方法，拍摄黑白标定板的方式标定，标定流程是当物方点处在同一平面上时，根据棋盘格上点与点之间距离统一且分布均匀的特点，为棋盘格上各点赋物方坐标，通过平面和平面间的单应性对像片进行运动估计，具有简单且实用性强的优点。
4、但是，由于各镜头参数、拍摄光线与角度等的少许差异，全景相机各镜头拼接时，影像和影像间会存在一定的拼接线，而这在使用全景相机拍摄标定板时尤为明显，造成标定板畸变错位，角点模糊，变形严重，极大地影响棋盘格成像和标定精度。
技术实现思路
1、有鉴于此，有必要提供全景影像畸变校正方法、装置、电子设备及介质，用以解决全景相机各镜头影像拼接时产生拼接线造成标定板畸变错位的问题。
2、为了解决上述问题，第一方面，本专利技术提供一种全景影像畸变校正方法，包括：
3、采集目标场景的全景影像；</p>4、将所述全景影像投影切分为多视角序列鱼眼影像；
5、对所述多视角序列鱼眼影像中的单张鱼眼影像进行单影像检校参数计算，得到单影像检校参数；
6、基于所述单影像检校参数和所述多视角序列鱼眼影像，对全景投影切分出的同一视角的多张鱼眼影像作后方交会联合平差，得到各视角鱼眼影像的内部参数和畸变系数；
7、根据各视角鱼眼影像的内部参数和畸变系数，对各视角鱼眼影像进行畸变矫正。
8、优选的，在采集目标场景的全景影像前，所述方法还包括：
9、在目标场景中布设多个标定点，获取标定点的物方坐标；其中，所述标定点的物方坐标表示标定点在世界坐标系中的坐标；
10、在采集目标场景的全景影像后，所述方法还包括：
11、确定标定点在全景影像内的像方坐标，所述标定点的像方坐标表示标定点在相机坐标系中的坐标。
12、优选的，将所述全景影像投影切分为多视角序列鱼眼影像，具体包括：
13、将所述全景影像切分为前后左右四个180°视角的经纬映射影像。
14、对切分后的各视角影像进行筛选，保留标定点数量多且分布均匀的经纬映射影像。
15、根据经纬映射影像和鱼眼图像的成像关系，将筛选后的各视角影像投影为鱼眼影像，得到多视角序列鱼眼影像。
16、优选的，所述对所述多视角序列鱼眼影像中的单张鱼眼影像进行单影像检校参数计算，得到单影像检校参数，具体包括：
17、根据鱼眼影像内平面二维像点与物方三维点之间的成像关系，建立鱼眼镜头成像模型；
18、根据鱼眼镜头成像模型中的观测值与未知数之间关系建立误差方程式，将非线性函数用泰勒公式线性化展开，得到线性化误差方程式。
19、遍历单张鱼眼影像上所有标定点，建立每个标定点的误差方程，将标定点的像方坐标和物方坐标带入标定点的误差方程中，利用最小二乘法迭代求解，得到单影像检校参数，其中，所述单影像检校参数包括当前影像的内部参数、外部参数和畸变系数。
20、优选的，基于所述单影像检校参数和所述多视角序列鱼眼影像，对全景投影切分出的同一视角的多张鱼眼影像作后方交会联合平差，得到各鱼眼影像的内部参数和畸变系数，具体包括：
21、对于多视角序列鱼眼影像中同一视角的多张鱼眼影像，基于所述单影像检校参数计算结果，建立每个标定点的误差方程。
22、对全景投影切分出的各视角影像分别进行多影像后方交会联合平差，迭代求解得到各视角影像的内部参数和畸变系数。
23、优选的，在根据各鱼眼影像的内部参数和畸变系数，对各鱼眼影像进行畸变矫正后，所述方法还包括：
24、遍历畸变矫正后影像，使用双线性插值法重采样填补空洞，并对畸变矫正后影像可视化。
25、优选的，所述鱼眼镜头成像模型的表达式为：
26、
27、式中，表示物方坐标系下标定点在鱼眼影像上成像时对应的像点在像素坐标系下的坐标，分别表示鱼眼影像在像素坐标系下的内参，分别表示鱼眼影像的畸变系数，为标定点成像时的入射角，分别表示像方与物方的成像参数。
28、第二方面，本专利技术还提供一种全景影像畸变校正装置，包括：
29、全景影像采集模块，用于采集目标场景的全景影像；
30、投影切分模块，用于将所述全景影像投影切分为多视角序列鱼眼影像；
31、检校参数计算模块，用于对所述多视角序列鱼眼影像中的单张鱼眼影像进行单影像检校参数计算，得到单影像检校参数；
32、联合平差模块，用于基于所述单影像检校参数和所述多视角序列鱼眼影像，对全景投影切分出的同一视角的多张鱼眼影像作后方交会联合平差，得到各视角鱼眼影像的内部参数和畸变系数；
33、畸变矫正模块，用于根据各视角鱼眼影像的内部参数和畸变系数，对各视角鱼眼影像进行畸变矫正。
34、第三方面，本专利技术还提供了一种电子设备，包括存储器和处理器，其中，
35、所述存储器，用于存储程序；
36、所述处理器，与所述存储器耦合，用于执行所述存储器中存储的所述程序，以实现上述任意一种实现方式中所述的一种全景影像畸变校正方法中的步骤。
37、第三方面，本专利技术还提供了一种计算机可读存储介质，用于存储计算机可读取的程序或指令，所述程序或指令被处理器执行时能够实现上述任意一种实现方式中所述的一种全景影像畸变校正方法中的步骤。
38、采用上述实施例的有益效果是：本专利技术提供的全景影像畸变校正方法，采集目标场景的全景影像；将所述全景影像投影切分为多视角序列鱼眼影像；对全景投影切分出的单张鱼眼影像进行单影像检校参数计算；基于单影像检校参数，对全景投影切分出的各视角分别进行多影像后方交会联合平差，得到各视角鱼眼影像的内部参数和畸变系数；根据各视角鱼眼影像的内部参数和畸变系数，对各视角鱼眼影像进行畸变矫正。本专利技术解决了全景各镜头影像拼接时产生拼接线造成标定板错位影响二维棋盘格标定法标定精度的问题，对任意场景的影像畸变矫正精度均较高，相比于通用的二维标定法有更强的适用性和准确性。
本文档来自技高网...
【技术保护点】
1.一种全景影像畸变校正方法，其特征在于，包括：
2.根据权利要求1所述的全景影像畸变校正方法，其特征在于，在采集目标场景的全景影像前，所述方法还包括：
3.根据权利要求1所述的全景影像畸变校正方法，其特征在于，将所述全景影像投影切分为多视角序列鱼眼影像，具体包括：
4.根据权利要求2所述的全景影像畸变校正方法，其特征在于，所述对所述多视角序列鱼眼影像中的单张鱼眼影像进行单影像检校参数计算，得到单影像检校参数，具体包括：
5.根据权利要求4所述的全景影像畸变校正方法，其特征在于，基于所述单影像检校参数和所述多视角序列鱼眼影像，对全景投影切分出的同一视角的多张鱼眼影像作后方交会联合平差，得到各视角鱼眼影像的内部参数和畸变系数，具体包括：
6.根据权利要求1所述的全景影像畸变校正方法，其特征在于，在根据各鱼眼影像的内部参数和畸变系数，对各鱼眼影像进行畸变矫正后，所述方法还包括：
7.根据权利要求4所述的全景影像畸变校正方法，其特征在于，所述鱼眼镜头成像模型的表达式为：
8.一种全景影像畸变校正装置，其特征在于，包括：
9.一种电子设备，
10.一种计算机可读存储介质，其特征在于，用于存储计算机可读取的程序或指令，所述程序或指令被处理器执行时能够实现上述权利要求1至7中任意一项所述的一种全景影像畸变校正系统中的步骤。
...
【技术特征摘要】
1.一种全景影像畸变校正方法，其特征在于，包括：
2.根据权利要求1所述的全景影像畸变校正方法，其特征在于，在采集目标场景的全景影像前，所述方法还包括：
3.根据权利要求1所述的全景影像畸变校正方法，其特征在于，将所述全景影像投影切分为多视角序列鱼眼影像，具体包括：
4.根据权利要求2所述的全景影像畸变校正方法，其特征在于，所述对所述多视角序列鱼眼影像中的单张鱼眼影像进行单影像检校参数计算，得到单影像检校参数，具体包括：
5.根据权利要求4所述的全景影像畸变校正方法，其特征在于，基于所述单影像检校参数和所述多视角序列鱼眼影像，对全景投影切分出的同一视角的多张鱼眼影...
【专利技术属性】
技术研发人员：胡庆武，赵昕格，艾明耀，李加元，赵鹏程，
申请(专利权)人：湖北珞珈实验室，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。