一种基于连续帧序列完成540制造技术

本发明专利技术公开了一种基于连续帧序列完成540

【技术实现步骤摘要】
一种基于连续帧序列完成540
°
全景影像的透明底盘技术


[0001]本专利技术涉及车载全景影像
，尤其涉及一种基于连续帧序列完成540
°
全景影像的透明底盘技术。

技术介绍

[0002]360度全景影像，是一套通过车载显示屏幕观看汽车四周360度全景融合，超宽视角，无缝拼接的适时图像信息(鸟瞰图像)，了解车辆周边视线盲区，帮助汽车驾驶员更为直观、更为安全地停泊车辆的泊车辅助系统，又叫全景泊车影像系统或全景停车影像系统(有别于市面上把汽车四周画面在显示屏幕上进行分割显示的“全景”系统)。
[0003]目前大部分车都装配了360
°
全景影像，但是在遇到道路不平，如有大型石子、坑洼和停车位上有物体等情况由于底盘盲区很容易发生底盘刮蹭,因此会用到540全景底盘透明技术，目前市面相关的底盘透明技术大部分结合了车自身的控制参数，如方向盘转角、车速等信息，这种方式不能较好应对车轮打滑、坑洼等非常规因素；同时控制信号的读取本身具有延迟，这都将导致车的运动轨迹预测错误，这些都将会影响到底盘区域图像填补的合理性。

技术实现思路

[0004]本专利技术的目的是为了解决现有技术中存在的缺点，而提出的一种基于连续帧序列完成540
°
全景影像的透明底盘技术。其优点在于：本专利实现了底盘区域图像填补的全面性。
[0005]为了实现上述目的，本专利技术采用了如下技术方案：
[0006]一种基于连续帧序列完成540
°
>全景影像的透明底盘技术，包括以下步骤：
[0007]S1：假设t0时刻已经完成了底盘图像的预测，即t0时刻的全景图为540
°
的全景图，记当前时刻为t1时刻，在低速(<30km/h)场景下，考虑一个时间间隔很短的从t0到t1时刻，满t1时刻底盘的图像一定能在t0时刻的全景图像中可找到，因此，以t0时刻的全景图为参考，通过深度学习神经网络对和t1时候的全景图的底盘区域进行图像修复，直接生成底盘区域的图像；
[0008]S2：进行神经网络训练测试，采集时许360度全景图像；
[0009]S3：随机在t1时刻的底盘附近选择有像素的与车身大小差不多的区域进行填黑，与t0时刻的540度全景图形成对应的训练样本：(t0的540度全景图、随意填黑处理的t1的360度全景图，填黑的mask，t1的360度全景图)；
[0010]S4：将训练样本放入到网络中，完成以t0为参考的，t1新增填空洞的图像填补；
[0011]S5：训练好模型后进行测试，这时候测试样本为：(t0的540度全景图，t1的360度全景图，车底盘位置为mask),输出为填补好的底盘全景图。
[0012]本专利技术的有益效果为：
[0013]1、该基于连续帧序列完成540
°
全景影像的透明底盘技术，利用了神经网络训练测
试，有效的解决了车轮打滑、坑洼等非常规因素、控制信号的读取本身的延迟而导致车的运动轨迹预测错误的问题，实现底盘区域图像填补的全面性。
附图说明
[0014]图1为本专利技术提出的一种基于连续帧序列完成540
°
全景影像的透明底盘技术的流程图。
具体实施方式
[0015]下面结合具体实施方式对本专利的技术方案作进一步详细地说明。
[0016]下面详细描述本专利的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本专利，而不能理解为对本专利的限制。
[0017]在本专利的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“设置”应做广义理解，例如，可以是固定相连、设置，也可以是可拆卸连接、设置，或一体地连接、设置。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本专利中的具体含义。
[0018]参照图1，一种基于连续帧序列完成540
°
全景影像的透明底盘技术，包括以下步骤：
[0019]第一步：假设t0时刻已经完成了底盘图像的预测，即t0时刻的全景图为540
°
的全景图，记当前时刻为t1时刻，在低速(<30km/h)场景下，考虑一个时间间隔很短的从t0到t1时刻，满t1时刻底盘的图像一定能在t0时刻的全景图像中可找到，因此，以t0时刻的全景图为参考，通过深度学习神经网络对和t1时候的全景图的底盘区域进行图像修复，直接生成底盘区域的图像；
[0020]第二步：进行神经网络训练测试，采集时许360度全景图像；
[0021]第三步：随机在t1时刻的底盘附近选择有像素的与车身大小差不多的区域进行填黑，与t0时刻的540度全景图形成对应的训练样本：(t0的540度全景图、随意填黑处理的t1的360度全景图，填黑的mask，t1的360度全景图)；
[0022]第四步：将训练样本放入到网络中，完成以t0为参考的，t1新增填空洞的图像填补；
[0023]第五步：训练好模型后进行测试，这时候测试样本为：(t0的540度全景图，t1的360度全景图，车底盘位置为mask),输出为填补好的底盘全景图。
[0024]需要注意的是，一般的我们在低速状态才运行底盘透明功能，同时t0和t1一般为前后相邻的图像帧序列，其中深度学习神经网络的选取包括不限于使resnet,vgg等主流网络，时序第一帧的540度全景图360度代替即可。
[0025]以上所述，仅为本专利技术较佳的具体实施方式，但本专利技术的保护范围并不局限于此，任何熟悉本
的技术人员在本专利技术揭露的技术范围内，根据本专利技术的技术方案及其专利技术构思加以等同替换或改变，都应涵盖在本专利技术的保护范围之内。
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于连续帧序列完成540
°
全景影像的透明底盘技术，其特征在于，包括以下步骤：S1：假设t0时刻已经完成了底盘图像的预测，即t0时刻的全景图为540
°
的全景图，记当前时刻为t1时刻，在低速(<30km/h)场景下，考虑一个时间间隔很短的从t0到t1时刻，满t1时刻底盘的图像一定能在t0时刻的全景图像中可找到，因此，以t0时刻的全景图为参考，通过深度学习神经网络对和t1时候的全景图的底盘区域进行图像修复，直接生成底盘区域的图像；...

【专利技术属性】
技术研发人员：陈平，李业，陶聚，杨文超，
申请(专利权)人：上海嘉峪智能科技有限公司，
类型：发明
国别省市：