一种应用于模型训练的视频数据编码方法及系统技术方案

本发明专利技术提出了一种应用于模型训练的视频数据编码方法及系统，属于图像数据处理的技术领域，其中方法具体包括步骤如下：步骤1、锁定数据训练集的获取源头；步骤2、建立数据传输通信链路；步骤3、通过数据通信链路发送数据读取请求；步骤4、构建数据编码模型，并对请求读取到的数据进行编码操作；步骤5、将编码后的数据通过数据传输链路进行传输；步骤6、将编码后的数据作为训练集应用于自动驾驶模型中。本发明专利技术通过对传输的视频数据进行编码压缩，可以有效的降低存储容量，以及传输过程中占用的带宽；同时，针对解码过程会出现的问题，进一步提出影像编码数据的无损恢复方法提高有效数据的利用方式，从而提高应用模型训练后的性能。从而提高应用模型训练后的性能。从而提高应用模型训练后的性能。

【技术实现步骤摘要】
一种应用于模型训练的视频数据编码方法及系统


[0001]本专利技术属于图像数据处理的
，特别是涉及一种应用于模型训练的视频数据编码方法及系统。

技术介绍

[0002]随着计算机技术的发展，信息呈现的形式逐渐被影像数据替代，基于影像数据进行日常生活的作业的方式也逐渐在生活中占据一席地位。
[0003]在高清视频数据和超高清视频数据的出现浪潮下，视频数据占用的存储空间逐渐增加，因此如何实现影像数据的高效传输，成为众多应用领域中的热点问题之一。
[0004]基于影像数据分析处理的图像数据处理领域，为了更好的提高图像数据分析模型的性能，常会采用模型性能训练的方式，提高其性能。因此，有效数据集的构建与传输应用成为当前亟待解决的问题之一。

技术实现思路

[0005]专利技术目的：提出一种应用于模型训练的视频数据编码方法及系统，以解决现有技术存在的上述问题。通过对影像视频数据的有效编码，提高数据的传输速度，以及提高有效数据的利用方式，从而提高模型训练后的性能。
[0006]技术方案：第一方面，提出了一种应用于模型训练的视频数据编码方法，该方法具体包括以下步骤：
[0007]步骤1、锁定数据训练集的获取源头；
[0008]步骤2、建立数据传输通信链路；
[0009]步骤3、通过数据通信链路发送数据读取请求；
[0010]步骤4、构建数据编码模型，并对请求读取到的数据进行编码操作；其中，数据编码模型执行编码的过程中，具体包括以下步骤：
[0011]步骤4.1、采用树形编码的形式划分编码单元；其中，编码单元包括：帧内预测单元、帧间预测单元、变换编码单元、量化编码单元、环路滤波单元和熵编码单元；
[0012]步骤4.2、利用所述帧内预测单元执行帧内预测，利用帧间预测单元执行帧间预测；
[0013]步骤4.3、利用所述变换编码单元执行变化编码；
[0014]步骤4.4、利用所述量化编码单元执行量化编码；
[0015]步骤4.5、利用环路滤波单元执行环路滤波；
[0016]步骤4.6、利用所述熵编码单元结合不同单元的数据处理结果，执行熵编码操作。
[0017]步骤5、将编码后的数据通过数据传输链路进行传输；
[0018]步骤6、将编码后的数据作为训练集应用于自动驾驶模型中。
[0019]在第一方面的一些可实现方式中，执行编码的过程中，通过将可变分辨率帧编码为I帧的方式进行编码操作；针对读取到的原始帧，首先进行降采样，对比将采样后与原始
帧的大小，以原始帧大小为参考，将降采样后的图像帧其余部分以像素0进行填充；随后采用数据编码模型对其进行编码操作。
[0020]在第一方面的一些可实现方式中，自动驾驶模型针对获得的数据训练集首先对其进行解码，随后基于解码后的数据进行性能训练。针对编码后的影像数据，构建影像数据无损恢复模型从不同层面进行编码后的影像数据到原始无损数据的恢复，通过针对性的种类分析，获得高质量的视频数据。具体包括以下步骤：
[0021]步骤6.1、构建影像数据无损恢复模型；
[0022]步骤6.2、利用影像数据无损恢复模型从不同层面从不同层面进行对传输过来的编码数据进行解码操作。
[0023]利用影像数据无损恢复模型从单帧层面恢复无损影像数据的过程中，在深度学习技术的基础上，先分析作为先验信息的编码单元划分结构和图像边缘结构的特点，挖掘两者之间的潜在联系，获得影像数据恢复所需的特征信息；随后，通过基于注意力机制的多模态信息融合，优化先验信息中的有效信息。
[0024]利用影像数据无损恢复模型从多帧层面恢复无损影像数据的过程中，基于影像数据参考帧的时域信息与目标帧对齐的基础，通过添加多尺度可变卷积模块，以及分析可变卷积的实现机制，从梯度反向传播的方向上优化影像数据无损恢复模型的训练效果。
[0025]步骤6.3、自动驾驶模型读取解码后的数据进行性能训练。
[0026]第二方面，提出一种应用于模型训练的视频数据编码系统，用于实现视频数据编码方法，该系统具体包括以下模块：
[0027]用于根据需求从锁定的数据源头读取所需的影像数据的数据源读取模块；
[0028]用于构建数据传输链路的链路构建模块；
[0029]用于根据应用需求生成数据请求信息的数据请求模块；
[0030]用于对响应数请求的数据信息进行编码的编码模块；
[0031]用于基于传输链路实现编码信息交互的数据交互模块；
[0032]用于对接收到编码数据进行解码，并将解码后的数据作为后续应用基础的数据解码模块。
[0033]在第二方面的一些可实现方式中，在辅助智能驾驶的应用领域中，面对智能模型训练过程的数据集获取过程中，首先采用数据源读取模块根据需求确定数据训练集的获取源头，并读取相应的数据；其次，利用链路构建模块构建用于实现数据通信的传输链路；再次，根据应用于的对象生成数据读取请求，并通过数据传输链路传输至对应的数据源头；从次，数据源头响应数据请求，利用数据编码模块将请求的数据进行编码，并再次通过传输链路将编码后的数据传输给应用对象；最后，利用数据解码模块对接收到的影像数据进行解码，并将解码后的数据作为训练集传输至自动驾驶模型中。
[0034]第三方面，提出一种应用于模型训练的视频数据编码设备，该设备包括：处理器以及存储有计算机程序指令的存储器。
[0035]其中，处理器读取并执行计算机程序指令，以实现视频数据编码方法。
[0036]第四方面，提出一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序指令。计算机程序指令被处理器执行时，以实现视频数据编码方法。
[0037]有益效果：本专利技术提出了一种应用于模型训练的视频数据编码方法及系统，通过
对传输的视频数据进行编码压缩，可以有效的降低存储容量，以及传输过程中占用的带宽。另外，本专利技术针对应用过程中会出现的解码恢复过程构建影像数据无损恢复模型从不同层面进行编码后的影像数据到原始无损数据的恢复，通过针对性的种类分析，获得高质量的视频数据。
附图说明
[0038]图1为本专利技术的数据处理流程图。
具体实施方式
[0039]在下文的描述中，给出了大量具体的细节以便提供对本专利技术更为彻底的理解。然而，对于本领域技术人员而言显而易见的是，本专利技术可以无需一个或多个这些细节而得以实施。在其他的例子中，为了避免与本专利技术发生混淆，对于本领域公知的一些技术特征未进行描述。
[0040]申请人认为在自动驾驶的应用领域，通过对影像数据的分析可以有效辅助驾驶人员对当前路况的识别，从而辅助驾驶人员的安全进行驾驶行为。为了有效提高自动驾驶过程中的模型识别分析能力，在进行智能化分析过程之前，首先采用海量的影响数据集对分析模型进行性能训练，但是海量的数据集由于占据的存储空间较大，因此普遍存储在云端或本地大型数据库，模型进行训练的作业时，需要借助互联网进行数据的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种应用于模型训练的视频数据编码方法，其特征在于，具体包括以下步骤：步骤1、锁定数据训练集的获取源头；步骤2、建立数据传输通信链路；步骤3、通过数据通信链路发送数据读取请求；步骤4、构建数据编码模型，并对请求读取到的数据进行编码操作；步骤5、将编码后的数据通过数据传输链路进行传输；步骤6、将编码后的数据作为训练集应用于自动驾驶模型中。2.根据权利要求1所述的一种应用于模型训练的视频数据编码方法，其特征在于，执行编码的过程中，通过将可变分辨率帧编码为I帧的方式进行编码操作；针对读取到的原始帧，首先进行降采样，对比将采样后与原始帧的大小，以原始帧大小为参考，将降采样后的图像帧其余部分以像素0进行填充；随后采用数据编码模型对其进行编码操作。3.根据权利要求1所述的一种应用于模型训练的视频数据编码方法，其特征在于，所述数据编码模型执行编码的过程中，包括：步骤4.1、划分编码单元；所述编码单元包括：帧内预测单元、帧间预测单元、变换编码单元、量化编码单元、环路滤波单元和熵编码单元；步骤4.2、利用所述帧内预测单元执行帧内预测，利用帧间预测单元执行帧间预测；步骤4.3、利用所述变换编码单元执行变化编码；步骤4.4、利用所述量化编码单元执行量化编码；步骤4.5、利用环路滤波单元执行环路滤波；步骤4.6、利用所述熵编码单元结合不同单元的数据处理结果，执行熵编码操作。4.根据权利要求3所述的一种应用于模型训练的视频数据编码方法，其特征在于，采用树形编码的形式执行编码单元的划分操作。5.根据权利要求1所述的一种应用于模型训练的视频数据编码方法，其特征在于，所述步骤6具体包括以下步骤：步骤6.1、构建影像数据无损恢复模型；步骤6.2、利用影像数据无损恢复模型从不同层面从不同层面进行对传输过来的编码数据进行解码操作；步骤6.3、自动驾驶模型读取解码后的数据进行性能训练。6.根据权利要...

【专利技术属性】
技术研发人员：左金晶，金伟，殷波，范文沁，
申请(专利权)人：无锡天宸嘉航科技有限公司，
类型：发明
国别省市：