一种全景图像校正方法及系统技术方案

本发明专利技术实施例公开了一种全景图像校正方法及系统，该方法和系统获取全景相机上两个鱼眼镜头的参数，以及，两个鱼眼镜头拍摄的两幅鱼眼图像中所有像素点的图像坐标值；根据两个鱼眼镜头的参数，以及两幅鱼眼图像中所有像素点的图像坐标值，分别计算每个像素点对应的相机坐标值，并将相机坐标值转换、更新为预设世界坐标系下的世界坐标值；根据两幅鱼眼图像中每个像素点对应的更新后的相机坐标值，分别获得两个鱼眼镜头所拍摄鱼眼图像的校正数据。全景相机在任意时刻拍摄的鱼眼图像，都可利用校正数据，重新生成每个像素点的图像坐标值，从而使重新生成的两幅鱼眼图像在拼接成一幅全景图像时，拼接部分不会出现错位现象。

【技术实现步骤摘要】
一种全景图像校正方法及系统
本专利技术涉及全景图像
，特别是涉及一种全景图像校正方法及系统。
技术介绍
全景相机是指能够一次性拍摄360°全景的相机，以全新方式让用户拥有使用传统相机无法捕捉到的场景，除拍照外，全景相机还可以应用于动态影像的拍摄，也被称为全景摄像机。现有相机镜头的视角范围小于360°，因此，全景相机至少配备两个相机镜头才能拍摄全景图像。与传统相机/智能手机的旋转拍摄全景图像的方式不同，全景相机能够在水平和垂直方向同时拍摄图像，拍摄得到的多幅图像经过全景拼接之后，便可生成360°全景图像。目前市面上主流的全景相机搭载有两个背靠背的鱼眼光学镜头，这两个鱼眼镜头在同一时刻分别拍摄视场角足够大的鱼眼图像，并将拍摄得到的两幅鱼眼图像进行全景拼接处理，最终得到拍摄时刻的全景图像。但是，由于两个鱼眼镜头在实际搭载过程中常常会出现镜头光轴不同轴的微小偏差，因此，两幅鱼眼图像在拼接部分易出现明显的错位现象，导致用户的全景体验较差。
技术实现思路
本专利技术实施例中提供了一种全景图像校正方法及系统，以解决现有全景相机拍摄的两幅鱼眼图像在拼接部分出现错位现象的问题。为了解决上述技术问题，本专利技术实施例公开了如下技术方案：一种全景图像校正方法，应用于携带有背向设置的两个鱼眼镜头的全景相机拍摄的鱼眼图像，所述方法包括：控制全景相机上的两个鱼眼镜头同时拍摄包含特征图片的鱼眼图像，所述特征图片属于预设世界坐标系，且展示有多个特征点；根据所述特征图片上的特征点获取两个鱼眼镜头的内参、畸变参数以及外参；获取每幅鱼眼图像中所有像素点的图像坐标值；根据鱼眼镜头成像模型、每幅鱼眼图像对应鱼眼镜头的内参和畸变参数，以及两幅鱼眼图像中每个像素点的图像坐标值，分别计算两幅鱼眼图像中每个像素点对应的相机坐标值；利用对应鱼眼镜头的外参，分别将两幅鱼眼图像中每个像素点对应的相机坐标值，转换并更新为预设世界坐标系下的世界坐标值；根据两幅鱼眼图像中每个像素点对应的更新后的相机坐标值，分别获得两个鱼眼镜头拍摄的鱼眼图像的校正数据；利用所述校正数据，重新生成全景相机在任意时刻拍摄的两幅鱼眼图像中每个像素点的图像坐标值，并将重新生成的两幅鱼眼图像拼接成一幅全景图像。可选地，所述根据所述特征图片上的特征点获取两个鱼眼镜头的内参、畸变参数以及外参，包括：获取特征图片上每个特征点在预设世界坐标系下的世界坐标值；分别获取两幅鱼眼图像中每个特征点的图像坐标值；根据两幅鱼眼图像中每个特征点的图像坐标值和对应的世界坐标值，分别计算两个鱼眼镜头的内参、外参以及畸变参数。可选地，所述控制全景相机上的两个鱼眼镜头同时拍摄包含特征图片的鱼眼图像，包括：将全景相机设置在预设世界坐标系的原点位置；控制全景相机上的一个鱼眼镜头朝预设世界坐标系选定坐标轴的正方向拍摄特征图片，控制全景相机上另一个鱼眼镜头朝预设世界坐标系选定坐标轴的负方向拍摄特征图片。可选地，所述利用对应鱼眼镜头的外参，分别将两幅鱼眼图像中每个像素点对应的相机坐标值，转换并更新为预设世界坐标系下的世界坐标值，包括：利用两个鱼眼镜头的外参，计算两幅鱼眼图像中每个像素点对应的相机坐标值转换到预设世界坐标系时的转换坐标值，所述转换坐标值中选定坐标轴上的值为正数；将朝预设世界坐标系选定坐标轴正方向拍摄的鱼眼镜头得到的鱼眼图像中，每个像素点对应的相机坐标值更新为对应的转换坐标值；将朝预设世界坐标系选定坐标轴负方向拍摄的鱼眼镜头得到的鱼眼图像中，每个像素点对应的相机坐标值中选定坐标轴上的值，更新为对应的转换坐标值中选定坐标轴上值的相反数，并且，将每个像素点对应的相机坐标值中非选定坐标轴上的值，更新为对应的转换坐标值中相匹配的坐标轴上的值。可选地，所述根据两幅鱼眼图像中每个像素点对应的更新后的相机坐标值，分别获得两个鱼眼镜头拍摄的鱼眼图像的校正数据，包括：根据两个鱼眼镜头的内参和畸变参数，将两幅鱼眼图像中每个像素点对应的更新后的相机坐标值，投影至像素点所在鱼眼图像的图像坐标系中，重新获取每个像素点的图像坐标值；分别建立两幅鱼眼图像中每个像素点原始的图像坐标值和重新获取的图像坐标值之间的映射表格，将所述映射表格作为对应鱼眼镜头所拍摄鱼眼图像的校正数据。可选地，在执行所述根据所述特征图片上的特征点获取两个鱼眼镜头的内参、畸变参数以及外参的步骤之后，还包括：利用两个鱼眼镜头的内参、畸变参数和外参，以及，特征点在预设世界坐标系下的世界坐标值，计算两幅鱼眼图像中每个特征点的图像坐标值；判断鱼眼图像中每个特征点原始的图像坐标值与被计算出的图像坐标值之差是否属于预设范围，如果是，利用两个鱼眼镜头的内参、畸变参数和外参执行后续步骤；如果否，重新执行所述根据所述特征图片上的特征点获取两个鱼眼镜头的内参、畸变参数以及外参的步骤。一种全景图像校正系统，应用于携带有背向设置的两个鱼眼镜头的全景相机拍摄的鱼眼图像，包括：拍摄控制单元，用于控制全景相机上的两个鱼眼镜头同时拍摄包含特征图片的鱼眼图像，所述特征图片属于预设世界坐标系，且展示有多个特征点；镜头参数获取单元，用于根据所述特征图片上的特征点获取两个鱼眼镜头的内参、畸变参数以及外参；图像坐标值获取单元，用于获取每幅鱼眼图像中所有像素点的图像坐标值；相机坐标值获取单元，用于根据鱼眼镜头成像模型、每幅鱼眼图像对应的鱼眼镜头的内参和畸变参数，以及两幅鱼眼图像中每个像素点的图像坐标值，分别计算两幅鱼眼图像中每个像素点对应的相机坐标值；相机坐标值转换单元，用于利用对应鱼眼镜头的外参，分别将两幅鱼眼图像中每个像素点对应的相机坐标值，转换并更新为预设世界坐标系下的世界坐标值；校正数据获取单元，用于根据两幅鱼眼图像中每个像素点对应的更新后的相机坐标值，分别获得两个鱼眼镜头拍摄的鱼眼图像的校正数据；全景图像拼接单元，用于利用所述校正数据，重新生成全景相机在任意时刻拍摄的两幅鱼眼图像中每个像素点的图像坐标值，并将重新生成的两幅鱼眼图像拼接成一幅全景图像。可选地，所述镜头参数获取单元，包括：世界坐标值获取单元，用于获取特征图片上每个特征点在预设世界坐标系下的世界坐标值；特征点图像坐标值获取单元，用于分别获取两幅鱼眼图像中每个特征点的图像坐标值；镜头参数计算单元，用于根据两幅鱼眼图像中每个特征点的图像坐标值和对应的世界坐标值，分别计算两个鱼眼镜头的内参、外参以及畸变参数。可选地，拍摄控制单元，包括：相机设置单元，用于将全景相机设置在预设世界坐标系的原点位置；控制单元，用于控制全景相机上的一个鱼眼镜头朝预设世界坐标系选定坐标轴的正方向拍摄特征图片，控制全景相机上另一个鱼眼镜头朝预设世界坐标系选定坐标轴的负方向拍摄特征图片。可选地，所述相机坐标值转换单元，包括：转换坐标值获取单元，用于利用两个鱼眼镜头的外参，计算两幅鱼眼图像中每个像素点对应的相机坐标值转换到预设世界坐标系时的转换坐标值，所述转换坐标值中选定坐标轴上的值为正数；相机坐标值更新单元，用于将朝预设世界坐标系选定坐标轴正方向拍摄的鱼眼镜头得到的鱼眼图像中，每个像素点对应的相机坐标值更新为对应的转换坐标值；将朝预设世界坐标系选定坐标轴负方向拍摄的鱼眼镜头得到的鱼眼图像中，每个像素点对应的相机坐标值中选定坐标轴上的值，更新为对应的转换坐标值中所述选定坐标轴上值的相本文档来自技高网...

【技术保护点】
1.一种全景图像校正方法，应用于携带有背向设置的两个鱼眼镜头的全景相机拍摄的鱼眼图像，其特征在于，所述方法包括：控制全景相机上的两个鱼眼镜头同时拍摄包含特征图片的鱼眼图像，所述特征图片属于预设世界坐标系，且展示有多个特征点；根据所述特征图片上的特征点获取两个鱼眼镜头的内参、畸变参数以及外参；获取每幅鱼眼图像中所有像素点的图像坐标值；根据鱼眼镜头成像模型、每幅鱼眼图像对应鱼眼镜头的内参和畸变参数，以及两幅鱼眼图像中每个像素点的图像坐标值，分别计算两幅鱼眼图像中每个像素点对应的相机坐标值；利用对应鱼眼镜头的外参，分别将两幅鱼眼图像中每个像素点对应的相机坐标值，转换并更新为预设世界坐标系下的世界坐标值；根据两幅鱼眼图像中每个像素点对应的更新后的相机坐标值，分别获得两个鱼眼镜头拍摄的鱼眼图像的校正数据；利用所述校正数据，重新生成全景相机在任意时刻拍摄的两幅鱼眼图像中每个像素点的图像坐标值，并将重新生成的两幅鱼眼图像拼接成一幅全景图像。

【技术特征摘要】
1.一种全景图像校正方法，应用于携带有背向设置的两个鱼眼镜头的全景相机拍摄的鱼眼图像，其特征在于，所述方法包括：控制全景相机上的两个鱼眼镜头同时拍摄包含特征图片的鱼眼图像，所述特征图片属于预设世界坐标系，且展示有多个特征点；根据所述特征图片上的特征点获取两个鱼眼镜头的内参、畸变参数以及外参；获取每幅鱼眼图像中所有像素点的图像坐标值；根据鱼眼镜头成像模型、每幅鱼眼图像对应鱼眼镜头的内参和畸变参数，以及两幅鱼眼图像中每个像素点的图像坐标值，分别计算两幅鱼眼图像中每个像素点对应的相机坐标值；利用对应鱼眼镜头的外参，分别将两幅鱼眼图像中每个像素点对应的相机坐标值，转换并更新为预设世界坐标系下的世界坐标值；根据两幅鱼眼图像中每个像素点对应的更新后的相机坐标值，分别获得两个鱼眼镜头拍摄的鱼眼图像的校正数据；利用所述校正数据，重新生成全景相机在任意时刻拍摄的两幅鱼眼图像中每个像素点的图像坐标值，并将重新生成的两幅鱼眼图像拼接成一幅全景图像。2.根据权利要求1所述的方法，其特征在于，所述根据所述特征图片上的特征点获取两个鱼眼镜头的内参、畸变参数以及外参，包括：获取特征图片上每个特征点在预设世界坐标系下的世界坐标值；分别获取两幅鱼眼图像中每个特征点的图像坐标值；根据两幅鱼眼图像中每个特征点的图像坐标值和对应的世界坐标值，分别计算两个鱼眼镜头的内参、外参以及畸变参数。3.根据权利要求1所述的方法，其特征在于，所述控制全景相机上的两个鱼眼镜头同时拍摄包含特征图片的鱼眼图像，包括：将全景相机设置在预设世界坐标系的原点位置；控制全景相机上的一个鱼眼镜头朝预设世界坐标系选定坐标轴的正方向拍摄特征图片，控制全景相机上另一个鱼眼镜头朝预设世界坐标系选定坐标轴的负方向拍摄特征图片。4.根据权利要求3所述的方法，其特征在于，所述利用对应鱼眼镜头的外参，分别将两幅鱼眼图像中每个像素点对应的相机坐标值，转换并更新为预设世界坐标系下的世界坐标值，包括：利用两个鱼眼镜头的外参，计算两幅鱼眼图像中每个像素点对应的相机坐标值转换到预设世界坐标系时的转换坐标值，所述转换坐标值中选定坐标轴上的值为正数；将朝预设世界坐标系选定坐标轴正方向拍摄的鱼眼镜头得到的鱼眼图像中，每个像素点对应的相机坐标值更新为对应的转换坐标值；将朝预设世界坐标系选定坐标轴负方向拍摄的鱼眼镜头得到的鱼眼图像中，每个像素点对应的相机坐标值中选定坐标轴上的值，更新为对应的转换坐标值中选定坐标轴上值的相反数，并且，将每个像素点对应的相机坐标值中非选定坐标轴上的值，更新为对应的转换坐标值中相匹配的坐标轴上的值。5.根据权利要求1所述的方法，其特征在于，所述根据两幅鱼眼图像中每个像素点对应的更新后的相机坐标值，分别获得两个鱼眼镜头拍摄的鱼眼图像的校正数据，包括：根据两个鱼眼镜头的内参和畸变参数，将两幅鱼眼图像中每个像素点对应的更新后的相机坐标值，投影至像素点所在鱼眼图像的图像坐标系中，重新获取每个像素点的图像坐标值；分别建立两幅鱼眼图像中每个像素点原始的图像坐标值和重新获取的图像坐标值之间的映射表格，将所述映射表格作为对应鱼眼镜头所拍摄鱼眼图像的校正数据。6.根据权利要求1所述的方法，其特征在于，在执行所述根据所述特征图片上的特征点获取两...

【专利技术属性】
技术研发人员：王行，周晓军，李朔，李骊，盛赞，杨淼，
申请(专利权)人：北京华捷艾米科技有限公司，
类型：发明
国别省市：北京,11