关于拍摄设备的数据处理方法、装置及图像处理设备制造方法及图纸

一种关于拍摄设备的数据处理方法，方法应用于图像处理设备，该图像处理设备能够获取拍摄设备的姿态数据，拍摄设备设于移动平台上，且移动平台的运动状态为直线运动状态，方法包括：获取拍摄设备采集第一图像时的第一姿态数据(S401)；根据第一姿态数据，确定采集第一图像时拍摄设备的设备坐标系与参考坐标系之间的第一旋转关系(S402)；根据第一旋转关系，确定第一图像上的像素点在参考坐标系中的位置信息(S403)。本发明专利技术实施例还提供了关于拍摄设备的数据处理装置及图像处理设备。可以较好地确保了在直线运动状态下，像素点到三维坐标的转换的准确性，从而更好地实现环境监测、制图等任务。

Data processing method, device and image processing equipment of photographing equipment

【技术实现步骤摘要】
【国外来华专利技术】关于拍摄设备的数据处理方法、装置及图像处理设备
本专利技术涉及图像处理
，尤其涉及一种关于拍摄设备的数据处理方法、装置及图像处理设备。
技术介绍
随着技术的发展，无人机等移动平台得到了极大的利用，可以在移动平台上通过云台等设备搭载拍摄设备，从而使得在移动平台移动的过程中，由拍摄设备拍摄目标环境下的图像，并基于图像进行三维重建，实现环境测绘、制图等功能。目前，利用拍摄设备拍摄的图像进行三维重建的步骤包括：基于图像，利用运动恢复结构(Structurefrommotion，SFM)技术恢复出各拍摄设备的正确空间姿态，也即拍摄设备在某一参考坐标系的位姿，包括拍摄的位置和角度信息，角度信息例如可以是俯仰角、横滚角以及偏航角，然后再以拍摄设备在该参考坐标系下的位姿出发，来计算得到图像上的像素点所对应的实际空间的三维点的坐标，完成环境空间的三维重建，进而完成即时定位与地图构建(Simultaneouslocalizationandmapping，SLAM)等任务。与测绘相关的参考坐标系一般为大地坐标系(Earth-centered，Earth-fixed，ECEF)或者由地面上已知的某点所建立的东北天(简称ENU)坐标系或北东地(简称NED)坐标系等地理坐标系。目前主流的三维建模软件根据在多个方向位置上的图像，可以正确恢复拍摄设备在大地坐标系、或地理坐标系等参考坐标系下的正确位姿，从而确定设备坐标系与参考坐标系之间的关系。经研究发现，在移动平台处于直线或近似直线运动的情况下，例如无人机单航带飞行的情况，基于直线运动过程中拍摄的图像和SFM来最终得到的设备坐标系与参考坐标系之间的关系不够准确，使得坐标系之间无法准确对齐，像素点的坐标位置转换存在较大的误差。
技术实现思路
本专利技术实施例提供了一种关于拍摄设备的数据处理方法、装置及图像处理设备，可以在移动平台处于直线运动状态下，较准确地确定拍摄设备的设备坐标系与参考坐标系之间的旋转关系，进而较为准确地完成像素点的坐标系位置转换。一方面，本专利技术实施例提供了一种关于拍摄设备的数据处理方法，其特征在于，所述方法应用于图像处理设备，该图像处理设备能够获取拍摄设备的姿态数据，所述拍摄设备设于移动平台上，且所述移动平台的运动状态为直线运动状态，所述方法包括：获取所述拍摄设备采集第一图像时的第一姿态数据；根据所述第一姿态数据，确定采集所述第一图像时所述拍摄设备的设备坐标系与参考坐标系之间的第一旋转关系；根据所述第一旋转关系，确定所述第一图像上的像素点在所述参考坐标系中的位置信息。另一方面，本专利技术实施例还提供了一种关于拍摄设备的数据处理装置，所述装置应用于图像处理设备，该图像处理设备能够获取拍摄设备的姿态数据，所述拍摄设备设于移动平台上，且所述移动平台的运动状态为直线运动状态，所述装置包括：获取模块，用于获取所述拍摄设备采集第一图像时的第一姿态数据；确定模块，用于根据所述第一姿态数据，确定采集所述第一图像时所述拍摄设备的设备坐标系与参考坐标系之间的第一旋转关系；处理模块，用于根据所述第一旋转关系，确定所述第一图像上的像素点在所述参考坐标系中的位置信息。再一方面，本专利技术实施例还提供了一种图像处理设备，该图像处理设备能够获取拍摄设备的姿态数据，所述拍摄设备设于移动平台上，且所述移动平台的运动状态为直线运动状态，该图像处理设备包括：通信接口单元、处理单元；所述通信接口单元，用于与外部设备通信，获取外部设备的数据；所述处理单元，用于通过所述通信接口单元获取所述拍摄设备采集第一图像时的第一姿态数据；根据所述第一姿态数据，确定采集所述第一图像时所述拍摄设备的设备坐标系与参考坐标系之间的第一旋转关系；根据所述第一旋转关系，确定所述第一图像上的像素点在所述参考坐标系中的位置信息。本专利技术实施例在移动平台处于直线运动状态时，确定拍摄设备所在的设备坐标系到参考坐标系之间的旋转关系，参考了拍摄设备在采集图像时的姿态数据，这使得在直线运动状态下，可以较为准确地来确定设备坐标系到参考坐标系之间的旋转关系，较好地确保了在直线运动状态下，像素点到三维坐标的转换的准确性，从而更好地实现环境监测、制图等任务。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1是本专利技术实施例的通过无人机搭载拍摄设备的任务场景示意图；图2是本专利技术实施例的北东地坐标系的示意图；图3是本专利技术实施例的图像坐标系与设备坐标系之间的关系的示意图；图4是本专利技术实施例的一种关于拍摄设备的数据处理方法的流程示意图；图5是本专利技术实施例的一种确定旋转关系的流程示意图；图6是本专利技术实施例的一种关于移动平台的多航带运动与直线状态的单航带运动的示意图；图7是本专利技术实施例的一种优化得到旋转关系的流程示意图；图8是本专利技术实施例的坐标位置转换的流程示意图；图9是本专利技术实施例的进行旋转关系优化及坐标位置转换的流程示意图；图10是本专利技术实施例的关于拍摄设备的数据处理装置的结构示意图；图11是本专利技术实施例的一种图像处理设备的结构示意图。具体实施方式在本专利技术实施例中，用于拍摄图像的拍摄设备可以直接挂载在移动平台上，也可以通过一个云台搭载在移动平台上的。在移动平台在移动的过程中，拍摄设备可以拍摄到多帧当前环境的图像，而针对每一帧图像，都可以读取在拍摄该图像时的姿态数据，这些姿态数据可以包括拍摄设备拍摄时的俯仰Pitch角、横滚Roll角以及偏航Yaw角。在确定移动平台当前处于直线运动状态时，可以触发相应的图像处理设备以图像的姿态数据为中间数据，在设备坐标系、云台坐标系以及参考坐标系进行转换，将拍摄设备拍摄到的图像上的点转换到参考坐标系下，确定这些点在参考坐标系下的三维点，进而实现诸如SLAM环境制图等任务。请参考图1，其示出了一种通过无人机搭载拍摄设备来获取图像进而进行相应的图像处理，实现诸如SLAM等任务的场景图。在该场景图中包括无人机101、在无人机101底部设置的拍摄设备102，在一个实施例中，无人机101可以设置云台，以及在云台上设置所述拍摄设备102。该无人机可以是图1所示的旋翼无人机，例如四旋翼、六旋翼、或八旋翼等等，在一些实施例中，也可以是固定翼飞行器。所述云台主要是指三轴云台，该云台可以在俯仰Pitch方向、横滚Roll方向以及偏航Yaw方向上转动，从而带动拍摄设备拍摄不同方位的图像。除无人机外，在其他实施例中，移动平台也可以是在陆上行驶的无人驾驶汽车、智能移动机器人等，通过无人驾驶汽车、智能机器人上的云台以及拍摄设备，也可以根据需要拍摄不同方位的图像。基于无人机上的拍摄设备拍摄的图像以及在拍摄设备拍摄图像时的姿态数据，地面端的图像处本文档来自技高网...

【技术保护点】
1.一种关于拍摄设备的数据处理方法，其特征在于，所述方法应用于图像处理设备，该图像处理设备能够获取拍摄设备的姿态数据，所述拍摄设备设于移动平台上，且所述移动平台的运动状态为直线运动状态，所述方法包括：/n获取所述拍摄设备采集第一图像时的第一姿态数据；/n根据所述第一姿态数据，确定采集所述第一图像时所述拍摄设备的设备坐标系与参考坐标系之间的第一旋转关系；/n根据所述第一旋转关系，确定所述第一图像上的像素点在所述参考坐标系中的位置信息。/n

【技术特征摘要】
【国外来华专利技术】1.一种关于拍摄设备的数据处理方法，其特征在于，所述方法应用于图像处理设备，该图像处理设备能够获取拍摄设备的姿态数据，所述拍摄设备设于移动平台上，且所述移动平台的运动状态为直线运动状态，所述方法包括：
获取所述拍摄设备采集第一图像时的第一姿态数据；
根据所述第一姿态数据，确定采集所述第一图像时所述拍摄设备的设备坐标系与参考坐标系之间的第一旋转关系；
根据所述第一旋转关系，确定所述第一图像上的像素点在所述参考坐标系中的位置信息。


2.如权利要求1所述的方法，其特性在于，所述参考坐标系是指：地理坐标系、或大地坐标系。


3.如权利要求1所述的方法，其特征在于，所述拍摄设备设于所述移动平台的云台上。


4.如权利要求3所述的方法，其特征在于，所述根据所述第一姿态数据，确定采集所述第一图像时所述拍摄设备的设备坐标系与参考坐标系之间的第一旋转关系，包括：
根据所述第一姿态数据获取所述云台的云台坐标系与所述参考坐标系之间的第二旋转关系，并获取所述拍摄设备的设备坐标系到所述云台坐标系之间的第三旋转关系；
根据所述第二旋转关系和所述第三旋转关系，确定采集所述第一图像时所述设备坐标系与参考坐标系之间的第一旋转关系。


5.如权利要求4所述的方法，其特征在于，所述第三旋转关系是根据所述拍摄设备与所述云台的装配关系配置的。


6.根据权利要求2所述的方法，其特征在于，所述根据所述第一旋转关系，确定所述第一图像上的像素点在所述参考坐标系中的位置信息，包括：
按照预设的第一算法，对所述第一旋转关系进行优化处理；
根据优化后的第一旋转关系，确定所述第一图像上的像素点在所述参考坐标系中的位置信息。


7.根据权利要求6所述的方法，其特征在于，所述第一姿态数据包括俯仰角、横滚角、偏航角；
所述第一旋转关系的优化处理包括对所述偏航角进行优化处理。


8.如权利要求7所述的方法，其特征在于，所述按照预设的第一算法，对所述第一旋转关系进行优化处理，包括：
获取所述拍摄设备采集的第一图像集合中每一帧图像采集时，所述设备坐标系的中心坐标以及利用传感器数据确定的所述中心坐标在所述参考坐标系中的第一坐标；
基于所述中心坐标以及所述第一坐标，对所述第一旋转关系进行优化处理，以使得基于优化后的第一旋转关系确定的各个所述中心坐标在所述参考坐标系中的第二坐标与对应的第一坐标之间的差异和满足预设的第一最小化条件；
其中，所述第一图像集合包括所述第一图像以及至少一帧第二图像。


9.如权利要求8所述的方法，其特征在于，所述第二图像为在采集时间上邻近所述第一图像的图像。


10.如权利要求8所述的方法，其特征在于，所述基于所述中心坐标以及所述第一坐标，对所述第一旋转关系进行优化处理，包括：
基于所述中心坐标以及所述第一坐标，对所述第一旋转关系、所述设备坐标系与所述参考坐标系之间的平移关系、所述设备坐标系与所述参考坐标系之间的缩放关系进行优化处理。


11.如权利要求10所述的方法，其特征在于，所述根据优化后的第一旋转关系，确定所述第一图像上的像素点在所述参考坐标系中的位置信息，包括：
根据优化后的第一旋转关系、优化后的平移关系以及优化后的缩放关系，确定所述第一图像上的像素点在所述参考坐标系中的位置信息。


12.如权利要求8所述的方法，其特征在于，所述传感数据包括全球定位传感器的采集数据和高度传感器的采集数据。


13.如权利要求1至12中任一项所述的方法，其特征在于，所述根据所述第一旋转关系，确定所述第一图像上的像素点在所述参考坐标系中的位置信息，包括：
根据所述第一旋转关系，确定所述拍摄设备采集的第二图像集合中每一帧图像上的像素点在所述参考坐标系中的位置信息；
其中，所述第二图像集合包括所述第一图像以及至少一帧第三图像。


14.如权利要求13所述的方法，其特征在于，所述第一图像是所述第二图像集合中的第一帧图像。


15.如权利要求13所述的方法，其特征在于，所述根据所述第一旋转关系，确定所述拍摄设备采集的第二图像集合中每一帧图像上的像素点在所述参考坐标系中的位置信息，包括：
利用视觉算法确定所述第三图像与所述第一图像之间的相对变换关系；
基于所述第一旋转关系以及所述相对变换关系，确定采集所述第三图像时所述设备坐标系与所述参考坐标系之间的第四旋转关系；
根据所述第一旋转关系，确定所述第一图像上的像素点在所述参考坐标系中的位置信息，并根据所述第四旋转关系，确定所述第三图像上的像素点在所述参考坐标系中的位置信息。


16.如权利要求15所述的方法，其特征在于，所述根据所述第一旋转关系，确定所述第一图像上的像素点在所述参考坐标系中的位置信息，并根据所述第四旋转关系，确定所述第三图像上的像素点在所述参考坐标系中的位置信息，包括：
按照预设的第二算法，对所述第一旋转关系以及所述第四旋转关系进行优化处理；
根据优化后的第一旋转关系，确定所述第一图像上的像素点在所述参考坐标系中的位置信息，并根据优化后的第四旋转关系，确定所述第三图像上的像素点在所述参考坐标系中的位置信息。


17.如权利要求16所述的方法，其特征在于，所述按照预设的第二算法，对所述第一旋转关系以及所述第四旋转关系进行优化处理，包括：
获取所述拍摄设备采集所述第二图像集合中每一帧图像时的第二姿态数据；
根据所述第二姿态数据，确定所述第二图像集合中每一帧图像在采集时所述设备坐标系与所述参考坐标系之间的第五旋转关系；
对所述第一旋转关系以及所述第四旋转关系进行优化处理，以使得优化后的第一旋转关系以及优化后的第四旋转关系与对应的第五旋转关系之间的差异满足预设的第二最小化条件。


18.如权利要求15所述的方法，其特征在于，所述优化后的第一旋转关系以及优化后的第四旋转关系与对应的第五旋转关系之间的差异满足预设的第二最小化条件的确定方式，包括：
确定第一数据与第二数据之间的和满足预设的第三最小化条件；
其中，所述第一数据为基于所述第二图像集合中每一帧图像上的像素点计算得到的重投影误差之和，所述第二数据为所述第二图像集合中每一帧图像对应的旋转关系偏差之和，所述旋转关系偏差是指所述第一旋转关系或所述第四旋转关系与对应的第五旋转...

【专利技术属性】
技术研发人员：黄胜，薛唐立，梁家斌，马东东，
申请(专利权)人：深圳市大疆创新科技有限公司，
类型：发明
国别省市：广东;44