无人机中的图像处理方法和设备技术

公开了一种无人机中的图像处理方法和设备。该无人机中的图像处理设备，包括：数据接收模块，被配置为：接收由VR眼镜中的传感器获取的用户的头部朝向参数；并且接收由全景摄像机拍摄的全景图像；数据处理模块，被配置为：根据头部朝向参数和全景图像截取对应于当前视角的局部图像；并且将全景图像转换为低分辨率的全景图像；以及数据发送模块，被配置为用间隔帧的方式发送局部图像和低分辨率的全景图像。

【技术实现步骤摘要】
无人机中的图像处理方法和设备
本专利技术涉及无人机
，更具体地涉及一种无人机中的图像处理方法和设备。
技术介绍
目前虚拟现实技术正在高速发展中，VR眼镜带来了全新的视觉体验方式。将VR眼镜与无人机相结合的应用已经初现端倪。通常，无人机可以搭载摄像机，并且将摄像机拍摄的画面传送给VR眼镜，用户可以通过VR眼镜来体验第一人称视角的虚拟飞行。传统地，无人机可以包括飞行控制系统、全景摄像机系统、和通信系统，其中飞行控制系统可以控制无人机的起飞、空中巡航、和降落，全景摄像机系统可以拍摄到全景图像，通信系统可以接收用户的指令并且将拍摄到的全景图像发送至用户。但是，由于无人机自身功率和通信带宽的限制，搭载在无人机上的全景摄像机拍摄到的画面可能无法进行实时传输或只能传输较低分辨率的画面。
技术实现思路
本专利技术提供了一种无人机中的图像处理方法和设备。根据本公开的一个方面，提供了一种无人机中的图像处理设备，包括：数据接收模块，被配置为：接收由VR眼镜中的传感器获取的用户的头部朝向参数；并且接收由全景摄像机拍摄的全景图像；数据处理模块，被配置为：根据头部朝向参数和全景图像截取对应于当前视角的局部图像；并且将全景图像转换为低分辨率的全景图像；以及数据发送模块，被配置为用间隔帧的方式发送局部图像和低分辨率的全景图像。在本公开的一个方面的第一种可能的实现方式中，数据处理模块还被配置为：根据头部朝向参数在全景图像上选取相应的视线中心点；以及以该视线中心点为中心截取局部图像。在本公开的一个方面的第二种可能的实现方式中，间隔帧是第一帧为低分辨率的全景图像并且第二帧为局部图像，其中低分辨率的全景图像帧和局部图像帧分别带有各自的标签并且被循环发送。在本公开的一个方面的第三种可能的实现方式中，所述头部朝向参数包括欧拉角数据或四元数数据。在本公开的一个方面的第四种可能的实现方式中，所述局部图像包括矩形图像、圆形图像、和正方形图像。根据本公开的另一方面，提供了一种无人机中的图像处理方法，包括：接收由VR眼镜中的传感器获取的用户的头部朝向参数；接收由全景摄像机拍摄的全景图像；根据头部朝向参数和全景图像截取对应于当前视角的局部图像；将全景图像转换为低分辨率的全景图像；以及采用间隔帧的方式发送局部图像和低分辨率的全景图像。在本公开的另一个方面的第一种可能的实现方式中，根据头部朝向参数和全景图像截取对应于当前视角的局部图像还包括：根据头部朝向参数在全景图像上选取相应的视线中心点；以及以该视线中心点为中心截取局部图像。在本公开的另一个方面的第二种可能的实现方式中，间隔帧是第一帧为低分辨率的全景图像并且第二帧为局部图像，其中低分辨率的全景图像帧和局部图像帧分别带有各自的标签并且被循环发送。在本公开的另一个方面的第三种可能的实现方式中，所述头部朝向参数包括欧拉角数据或四元数数据。根据本公开的又一方面，提供了一种无人机中的图像处理设备，包括：处理器；用于存储处理器可执行指令的存储器；其中，处理器被配置为：接收由VR眼镜中的传感器获取的用户的头部朝向参数；接收由全景摄像机拍摄的全景图像；根据头部朝向参数和全景图像截取对应于当前视角的局部图像；将全景图像转换为低分辨率的全景图像；以及采用间隔帧的方式发送局部图像和低分辨率的全景图像。本公开利用无人机上的图像处理设备，通过结合VR眼镜的传感器采集到的用户的头部朝向参数，对全景摄像机拍摄到的全景图像进行处理，得到对应于用户的当前视角的局部图像，并且将全景图像转换为低分辨率的全景图像，最后利用间隔帧的方式循环发送局部图像和低分辨率的全景图像，能够在无人机有限的功率和有限的通信带宽的情况下，用搭载有全景摄像机的无人机和VR眼镜实现高清第一人称视角的虚拟飞行。附图说明从下面结合附图对本专利技术的具体实施方式的描述中，可以更好地理解本专利技术，其中：图1是示出根据本专利技术实施例的应用场景；图2是示出根据本专利技术实施例的无人机中的图像处理方法的流程图；图3是示出根据本专利技术实施例的无人机中的图像处理设备的框图；图4是示出根据本专利技术实施例的示出能够实现根据本专利技术实施例的无人机中的图像处理方法的计算设备的示例性硬件架构的结构图。具体实施方式下面将详细描述本公开各个方面的特征和示例性实施例。下面的描述涵盖了许多具体细节，以便提供对本专利技术的全面理解。但是，对于本领域技术人员来说显而易见的是，本专利技术可以在不需要这些具体细节中的一些细节的情况下实施。下面对实施例的描述仅仅是为了通过示出本专利技术的示例来提供对本专利技术更清楚的理解。本专利技术绝不限于下面所提出的任何具体配置，而是在不脱离本专利技术的精神的前提下覆盖了相关元素或部件的任何修改、替换和改进。图1是示出根据本专利技术实施例的应用场景的示意图。如图1所示，用户可以佩戴VR眼镜体验高清第一人称视角虚拟飞行。通常，用户可以利用遥控器(未示出)通过无人机的通信系统与无人机进行通信，并且控制无人机的飞行控制系统，这样无人机可以被用户操控，并且根据用户的指令进行起飞、巡航、和降落。无人机的全景摄像机系统拍摄到的全景图像可以通过无人机的通信系统被发送至用户佩戴的VR眼镜，从而使得用户可以以第一人称视角的方式来体验虚拟飞行。本公开提供了一种无人机上的图像处理方法和设备，通过结合VR眼镜的传感器采集到的用户的头部朝向参数，对全景摄像机拍摄到的全景图像进行处理，得到对应于用户的当前视角的局部图像，并且将全景图像转换为低分辨率的全景图像，最后利用间隔帧的方式循环发送局部图像和低分辨率的全景图像，能够在无人机有限的功率和有限的通信带宽的情况下，用搭载有全景摄像机的无人机和VR眼镜实现高清第一人称视角的虚拟飞行。下面结合附图，详细描述根据本专利技术实施例的无人机上的图像处理方法和设备。图2是示出根据本专利技术实施例的无人机中的图像处理方法200的流程图。如图2所示，在步骤201中，接收由VR眼镜中的传感器获取的用户的头部朝向参数。在一个实施例中，VR眼镜中的传感器可以采集用户的头部朝向参数，例如，VR眼镜中的九轴运动传感器可以采集头部运动的方向数据，并且可以计算得出头部朝向的欧拉角数据或四元数数据。然后，可以通过无人机的通信系统接收头部朝向参数。在步骤202中，接收由全景摄像机拍摄的全景图像。在一个实施例中，全景摄像机可以是各种类型的全景摄像机，例如具有两个鱼眼镜头的全景摄像机、具有六个普通摄像头的全景摄像机、或任意其他可以拍摄全景图像的全景摄像机。在步骤203中，根据头部朝向参数和全景图像截取对应于当前视角的局部图像。在一个实施例中，可以根据头部朝向参数(例如，欧拉角数据)在全景图像上选取相应的视线中心点，例如，用户当前正在看向的方向相对于全景图像的视线中心点。然后，可以以视线中心点为中心截取出局部图像，例如，局部图像可以是矩形图像、圆形图像、或VR眼镜可以显示的任意其他形状的图像。在步骤204中，将全景图像转换为低分辨率的全景图像。在一个实施例中，全景摄像机所拍摄到的一帧全景图像可以是由多个相机拍摄到的图像拼接而成的，其分辨率大于一般相机拍摄的图像。例如，在通常情况下，无人机实时传输的图像大小为1280*720(即720p的视频图像，通过无线网5.8G信道传输)，而全景摄像机拍摄的全景图像的大小远大于1280*720。在一个实施例本文档来自技高网...

【技术保护点】
1.一种无人机中的图像处理设备，其特征在于，所述图像处理设备包括：数据接收模块，被配置为：接收由VR眼镜中的传感器获取的用户的头部朝向参数；并且接收由全景摄像机拍摄的全景图像；数据处理模块，被配置为：根据所述头部朝向参数和所述全景图像截取对应于当前视角的局部图像；并且将所述全景图像转换为低分辨率的全景图像；以及数据发送模块，被配置为用间隔帧的方式发送所述局部图像和所述低分辨率的全景图像。

【技术特征摘要】
1.一种无人机中的图像处理设备，其特征在于，所述图像处理设备包括：数据接收模块，被配置为：接收由VR眼镜中的传感器获取的用户的头部朝向参数；并且接收由全景摄像机拍摄的全景图像；数据处理模块，被配置为：根据所述头部朝向参数和所述全景图像截取对应于当前视角的局部图像；并且将所述全景图像转换为低分辨率的全景图像；以及数据发送模块，被配置为用间隔帧的方式发送所述局部图像和所述低分辨率的全景图像。2.如权利要求1所述的图像处理设备，其特征在于，所述数据处理模块还被配置为：根据所述头部朝向参数在所述全景图像上选取相应的视线中心点；以及以该视线中心点为中心截取所述局部图像。3.如权利要求1所述的图像处理设备，其特征在于，所述间隔帧是第一帧为低分辨率的全景图像并且第二帧为局部图像，其中低分辨率的全景图像帧和局部图像帧分别带有各自的标签并且被循环发送。4.如权利要求1所述的图像处理设备，其特征在于，所述头部朝向参数包括欧拉角数据或四元数数据。5.如权利要求1所述的图像处理设备，其特征在于，所述局部图像包括矩形图像、圆形图像、和正方形图像。6.一种无人机中的图像处理方法，其特征在于，所述方法包括：接收由VR眼镜中的传感器获取的用户的头部朝向参数；接收由全景摄像机拍...

【专利技术属性】
技术研发人员：田瑜，江文彦，
申请(专利权)人：昊翔电能运动科技昆山有限公司，
类型：发明
国别省市：江苏,32