【技术实现步骤摘要】
本专利技术涉及自动驾驶，尤其涉及一种远程驾驶的视频数据处理方法、装置、设备和存储介质。
技术介绍
1、随着自动驾驶和第五代移动通信技术(5g，5th generation mobilecommunication technology)的快速发展，自动驾驶全球通用的美国汽车工程师学会(sae，society of automotive engineers)分级标准中，增加了远程驾驶相关定义。远程驾驶是指部分或全部的动态驾驶任务(ddt，dynamic driving task)或紧急接管行为(包括实时刹车、转向、加速和变速器换挡)的实时操作，都由远程驾驶员完成。而远程驾驶业务中最重要的是视频数据在5g网络环境下的端到端低时延传输，现有的远程驾驶视频端到端传输方案主要依赖车端编码能力、5g网络传输能力、远程驾驶舱端解码能力。
2、远程驾驶对视频端到端传输的时延要求一般在200ms以内，目前，远程驾驶技术基于5g的低时延特性，通过优化车端编码性能和驾驶舱解码性能可实现200ms以内的低时延视频传输。但5g网络是无线传输技术，远控车辆处于运动状态，5g网络受外部环境因素影响而产生的网络抖动现象会造成车端传输到驾驶舱的视频出现延迟、卡顿、花屏甚至跳帧等问题。
技术实现思路
1、为解决现有存在的技术问题，本专利技术实施例提供一种远程驾驶的视频数据处理方法、装置、设备和存储介质。
2、为达到上述目的，本专利技术实施例的技术方案是这样实现的：
3、第一方面，本专
4、第一设备基于通信网络获得第二设备传输的第一视频数据，以及基于所述第一视频数据获得第二视频数据；其中，所述第二视频数据至少包括所述第一视频数据中当前帧对应的至少一帧预测帧；
5、根据所述通信网络的网络状态信息，对所述第一视频数据和所述第二视频数据进行融合，输出融合后的视频数据。
6、上述方案中，所述对所述第一视频数据和所述第二视频数据进行融合，输出融合后的视频数据，包括：确定所述第一视频数据中当前帧对应的传输时延；在所述传输时延大于第一阈值的情况下，利用所述第二视频数据中的预测帧对所述第一视频数据进行插帧处理，输出插帧处理后的所述第一视频数据。
7、上述方案中，所述利用所述第二视频数据中的预测帧对所述第一视频数据进行插帧处理，包括：根据预先获得的预测帧的置信度、所述网络状态信息以及累计次数，确定预测帧的可靠度；其中，所述累计次数表示在插入所述预测帧之前连续利用所述第二视频数据进行插帧处理的次数；根据可靠度将对应的预测帧插入所述第一视频数据。
8、上述方案中，所述根据可靠度将对应的预测帧插入所述第一视频数据，包括：在所述可靠度满足第一预设条件、且所述累计次数小于第二阈值的情况下，将对应的预测帧插入所述第一视频数据。
9、上述方案中，所述网络状态信息至少包括获得预测帧时的信号强度值和通信时延；所述根据预先获得的预测帧的置信度、所述网络状态信息以及累计次数，确定预测帧的可靠度，包括：分别对所述置信度、所述信号强度值、所述通信时延和所述累计次数进行归一化处理，将归一化后的所述置信度、所述信号强度值、所述通信时延、所述累计次数按照各自对应的权重进行加权平均，获得所述可靠度。
10、上述方案中，所述基于所述第一视频数据获得第二视频数据，包括：将所述第一视频数据中的当前帧保存至第二视频数据；在所述第二视频数据中的图像帧数满足第二预设条件的情况下，基于视频预测模型对第二视频数据进行处理，获得所述至少一帧预测帧和对应的置信度，基于所述至少一帧预测帧更新所述第二视频数据。
11、上述方案中，所述确定所述第一视频数据中当前帧对应的传输时延，包括：根据所述当前帧的解码时间和当前时间的时间差确定所述传输时延。
12、第二方面，本专利技术实施例了提供一种远程驾驶的视频数据处理装置，应用于第一设备，所述装置包括获取单元、处理单元和输出单元；其中，
13、所述获取单元，用于基于通信网络获得第二设备传输的第一视频数据，以及基于所述第一视频数据获得第二视频数据；其中，所述第二视频数据至少包括所述第一视频数据中当前帧对应的至少一帧预测帧；
14、所述处理单元，用于根据所述通信网络的网络状态信息，对所述第一视频数据和所述第二视频数据进行融合；
15、所述输出单元，用于输出融合后的视频数据。
16、上述方案中，所述处理单元，还用于确定所述第一视频数据中当前帧对应的传输时延；在所述传输时延大于第一阈值的情况下，利用所述第二视频数据中的预测帧对所述第一视频数据进行插帧处理；
17、所述输出单元，还用于输出插帧处理后的所述第一视频数据。
18、上述方案中，所述处理单元，还用于根据预先获得的预测帧的置信度、所述网络状态信息以及累计次数，确定预测帧的可靠度；其中，所述累计次数表示在插入所述预测帧之前连续利用所述第二视频数据进行插帧处理的次数；根据可靠度将对应的预测帧插入所述第一视频数据。
19、上述方案中，所述处理单元，还用于在所述可靠度满足第一预设条件、且所述累计次数小于第二阈值的情况下，将对应的预测帧插入所述第一视频数据。
20、上述方案中，所述网络状态信息至少包括获得预测帧时的信号强度值和通信时延；所述处理单元，还用于分别对所述置信度、所述信号强度值、所述通信时延和所述累计次数进行归一化处理，将归一化后的所述置信度、所述信号强度值、所述通信时延、所述累计次数按照各自对应的权重进行加权平均，获得所述可靠度。
21、上述方案中，所述获取单元，还用于将所述第一视频数据中的当前帧保存至第二视频数据；在所述第二视频数据中的图像帧数满足第二预设条件的情况下，基于视频预测模型对第二视频数据进行处理，获得所述至少一帧预测帧和对应的置信度，基于所述至少一帧预测帧更新所述第二视频数据。
22、上述方案中，所述处理单元，还用于根据所述当前帧的解码时间和当前时间的时间差确定所述传输时延。
23、第三方面，本专利技术实施例提供了一种设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现前述远程驾驶的视频数据处理方法的步骤。
24、第四方面，本专利技术实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现前述远程驾驶的视频数据处理方法的步骤。
25、本专利技术实施例提供了一种远程驾驶的视频数据处理方法、装置、设备和存储介质，第一设备基于通信网络可远程获取来自第二设备的第一视频数据，对所述第一视频数据进行预测得到包括预测帧的第二视频数据，并根据通信网络的网络状态信息对第一视频数据和第二视频数据进行融合，可解决远程驾驶中视频数据传输延迟或不流畅的问题。
本文档来自技高网...【技术保护点】
1.一种远程驾驶的视频数据处理方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述对所述第一视频数据和所述第二视频数据进行融合，输出融合后的视频数据，包括：
3.根据权利要求2所述的方法，其特征在于，所述利用所述第二视频数据中的预测帧对所述第一视频数据进行插帧处理，包括：
4.根据权利要求3所述的方法，其特征在于，所述根据可靠度将对应的预测帧插入所述第一视频数据，包括：
5.根据权利要求3或4所述的方法，其特征在于，所述网络状态信息至少包括获得预测帧时的信号强度值和通信时延；所述根据预先获得的预测帧的置信度、所述网络状态信息以及累计次数，确定预测帧的可靠度，包括：
6.根据权利要求1所述的方法，其特征在于，所述基于所述第一视频数据获得第二视频数据，包括：
7.根据权利要求2所述的方法，其特征在于，所述确定所述第一视频数据中当前帧对应的传输时延，包括：
8.一种远程驾驶的视频数据处理装置，其特征在于，所述装置应用于第一设备，所述装置包括获取单元、处理单元和输出单元；其中，
9.一种设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1至7任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1至7任一项所述方法的步骤。
...【技术特征摘要】
1.一种远程驾驶的视频数据处理方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述对所述第一视频数据和所述第二视频数据进行融合，输出融合后的视频数据，包括：
3.根据权利要求2所述的方法，其特征在于，所述利用所述第二视频数据中的预测帧对所述第一视频数据进行插帧处理，包括：
4.根据权利要求3所述的方法，其特征在于，所述根据可靠度将对应的预测帧插入所述第一视频数据，包括：
5.根据权利要求3或4所述的方法，其特征在于，所述网络状态信息至少包括获得预测帧时的信号强度值和通信时延；所述根据预先获得的预测帧的置信度、所述网络状态信息以及累计次数，确定预测帧的可靠度，包括：
【专利技术属性】
技术研发人员：程港，邬小鲁，何聪，张阳，张为峰，俞燕，李睿硕，刘瑞博，李唯，
申请(专利权)人：中移上海信息通信科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。