用于为机器学习过程生成编码训练数据的方法、处理单元和记录系统技术方案

本发明专利技术涉及一种用于生成编码后的训练数据(11)的方法，其中，处理单元(17)执行以下步骤以用于生成编码后的训练数据(11)并在测试车辆(10)的测试驾驶(T)期间将它们存储到数据存储器(19)中，该测试车辆(10)携带生成原始图像数据(16)的摄像头(12)。通过执行测试例程来测试给定视频编码器(27)是否适合于对原始图像数据进行编码以生成用于训练另一个第二人工神经网络(34

【技术实现步骤摘要】
【国外来华专利技术】用于为机器学习过程生成编码训练数据的方法、处理单元和记录系统


[0001]本专利技术涉及一种用于为机器学习过程生成编码后的训练数据的方法。编码后的训练数据是经过视频编码器编码后的图像数据。编码后的训练数据可以用于训练人工神经网络(ANN)，使得人工神经网络能够基于摄像头图像数据识别至少一个对象。本专利技术还包括一种用于执行该方法的处理单元和一种用于记录编码后的训练数据的记录系统。

技术介绍

[0002]在自动驾驶车辆(ADV)中，人工神经网络(ANN)可用于通过评估表示由摄像头生成的图像的图像数据来观察车辆的环境。为此，ANN可以连接到摄像头以接收摄像头图像流的原始图像数据。术语“原始”意味着没有应用像MPEG编码这样的图像编码(MPEG
‑
运动图像专家组)。然而，原始图像数据可能已经被其他算法处理过，例如边缘检测算法。ANN经过训练以识别或推断原始图像数据中的对象。由于使用了原始图像数据，ANN预计不会出现图像编码伪影。
[0003]为了训练这样的ANN，需要训练数据。可以通过在汽车上安装摄像头并在测试驾驶期间将摄像头图像记录到数据存储器来生成训练数据。由于需要大量训练数据，存储原始摄像头图像数据流将需要大量数据存储(数TB)并且处理如此大量的数据(例如传输到其他计算机)将非常耗时。因此必须压缩摄像头图像数据流以减少数据量。这是通过在将原始摄像头图像存储在汽车的数据存储器中之前对其进行编码来获得的。可能的编码器是MPEG(MP4或H.264/MPEG
‑
4AVC或ISO/IEC
‑
14496)。数据存储器因此包含编码图像数据。
[0004]结果是，对于训练ANN，只有编码图像数据可用，但在以后在ADV中使用经过训练的ANN期间，ANN必须对原始(未编码)图像数据执行。编码图像数据是一个“有损”过程，即编码后的摄像头图像可能包含编码引入的伪影。因此，ANN可能会表现出意想不到的行为。单纯在ADV中使用编码器也不是最高分辨率的选择，因此最高的对象识别概率是通过原始摄像头图像获得的。
[0005]Blundell等人的科学出版物(C.Blundell、J.Cornebise、K.Kavukcuoglu、D.Wierstra，..“Weight Uncertainty in Neural Networks(神经网络中的权重不确定性)”，ICML 2015，第32届国际机器学习会议论文集，法国里尔，2015年。JMLR：W&CP第37卷，可在互联网页面https://deepmind.com/research/publications/weight
‑
uncertainty
‑
neural
‑
net works/上找到)描述了一种不确定性度量，其可用于量化人工神经网络传递的识别结果的不确定性或确定性。其他不确定性度量在现有技术中也是已知的。
[0006]文献US2018/0107182A1公开了一种基于由人工神经网络分析的摄像头图像来识别不同飞行器(无人机)的方法。作为附加特征，无人机引擎声音的录音也可以通过神经网络进行分析，因为无人机会产生独特的个体声音。关于摄像头与神经网络之间的数据连接，其中提到可以传输原始数据或处理后的数据。
[0007]文献EP3633990A1公开了一种用于调整编码器参数以优化预定义失真度量的系
统。一种可能的失真度量基于将原始图像数据的识别结果与编码然后解码的图像数据的识别结果进行比较。
[0008]文献US2020/0309541A1公开了一种配备有用于生成图像数据的摄像头的车辆，该图像数据将存储在用于SLAM算法的训练服务器的存储设备中。
[0009]Michel Kana的互联网出版物(Michel Kana博士，“Uncertainty in Deep Learning.How To Measure？(深度学习中的不确定性。如何衡量？)”，https://towardsdatascience.com/)描述了用于确定人工神经网络不确定性水平的不同不确定性度量。
[0010]Avinash Sharma V的互联网出版物(Avinash Sharma V,..“Understanding Activation Functions in Neural Networks(理解神经网络中的激活功能)”,https://medium.com/)描述了一种激活功能，其可以用于人工神经网络层的人工神经元中以生成激活值。

技术实现思路

[0011]本专利技术的目的是获得合适的训练数据来训练用于对象识别的ANN。
[0012]该目的通过独立权利要求的主题来实现。本专利技术由独立权利要求限定。在以下描述、从属权利要求和附图中详细说明本专利技术的方便且重要的进一步实施例的有利开发方案。
[0013]本专利技术提供了一种用于生成可以用于机器学习的编码后的训练数据的方法。这些训练数据是由图像编码器或视频编码器通过对图像数据应用所谓的有损压缩来编码后的图像数据。“有损”是指在对图像数据进行解压缩后，图像与原始版本不同，因为图像细节(比如颜色阴影和/或线条)丢失或模糊，即为了执行识别过程而解码后的图像中可能包含编码/解码伪影。尽管如此，训练数据仍可用于机器学习，例如用于训练人工神经网络。这需要具有合适预设值的合适视频编码。
[0014]根据该方法，一种处理单元执行以下步骤，以在带有正在生成原始摄像头图像数据的摄像头的测试车辆的试验驾驶期间生成编码后的训练数据并将其存储到数据存储器中。“测试车辆”是指该车辆本身无需提供自动驾驶功能。测试车辆可仅用于收集编码后的训练数据。
[0015]根据一个方面，本专利技术提供了一种用于生成可用于机器学习的编码后的训练数据的方法。处理单元在携带正在生成原始图像数据的摄像头的测试车辆的试验驾驶期间执行以下步骤以生成编码后的训练数据并将其存储在数据存储器中。
[0016]该方法包括以下步骤。处理单元从摄像头接收原始图像数据。该方法基于已在(其他)原始图像训练数据上训练过的人工神经网络(ANN)。该ANN可以在测试车辆中或测试车辆外部(例如，在车辆或处理单元可以通过互联网连接而连接到的服务器中)运行。换句话说，ANN的训练已经使用先前从另一个来源获得的原始图像训练数据完成了。
[0017]使用ANN，基于接收到的原始图像数据执行识别测试或图像识别，从而基于预定的评估规则来生成参考识别数据或参考评估数据。评估规则可以定义识别结果的哪一部分应当被用作识别数据/评估数据。换句话说，ANN被提供了原始图像数据的至少一个子集或数据序列作为输入，并且参考评估数据或参考识别数据描述了ANN如何对这些原始图像数据
作出反应。评估规则判定应使用哪种类型的评估数据，这将在下面进一步详细解释。换句话说，评估规则确定这些量中的哪一个将被使用或生成以在以下步骤中使用：在至少一个数据序列中已经识别出的图像内容和/或本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种生成编码后的训练数据的方法(11)，其中处理单元(17)在测试车辆(10)的测试驾驶(T)期间执行以下步骤以生成编码后的训练数据(11)并将其存储在数据存储器(19)中，所述测试车辆(10)携带生成原始图像数据(16)的摄像头(12)：从所述摄像头(12)接收所述原始图像数据(16)，和操作人工神经网络(24)ANN，其已经在原始图像训练数据上进行训练并且被训练以基于原始图像数据(22)来识别至少一个对象(15)，和使用所述人工神经网络(24)基于接收到的原始图像数据的至少一个数据序列来执行图像识别(25)，从而基于预定的评估规则来生成相应的参考识别数据(26)，其中所述参考识别数据(26)描述了在所述至少一个数据序列(23)中已经识别出的图像内容和/或所述ANN的至少一个隐藏层的激活值和/或关于所述图像内容的预定的不确定性度量的值，并且其中所述评估规则确定应使用什么类型的识别数据，其特征在于，对所述原始图像数据(16)的每个数据序列通过执行测试例程来测试给定的视频编码器(27)是否适合于对所述原始图像数据进行编码以生成用于训练另一个第二人工神经网络(34
’
)的编码后的训练数据，所述测试例程包括：使用所述人工神经网络(24)对所述数据序列(23)执行第一次图像识别(25)；作为执行所述第一次图像识别(25)的结果而获得所述参考识别数据(26)；使用配置有给定预设值(27
’
)的视频编码器(27)对所述数据序列(23)进行编码，其中编码产生编码后的序列(28)，然后使用对应的解码器对所述编码后的序列(28)进行解码，以及使用所述人工神经网络(24)对解码后的序列(28)执行第二次图像识别(29
’
)；作为执行所述第二次图像识别(29
’
)的结果并且基于所述评估规则而获得当前评估数据(29)，其中所述当前评估数据(29)描述了在所述至少一个数据序列(23)中已经识别出的图像内容和/或所述ANN的至少一个隐藏层的激活值和/或关于所述图像内容的预定的不确定性度量的值；和所述处理单元验证所述当前评估数据(29)和相应对应的参考识别数据(26)是否满足预定的相似度标准(30)，其中所述相似度标准(30)包括描述所述参考识别数据(26)与所述当前评估数据(29)之间的差异的相应差值(31)位于预定区间(32)内的条件，并且如果所述当前评估数据(29)和所述参考识别数据(26)满足所述预定的相似度标准(30)，则存储所述编码后的序列(28)和/或对另外接收到的原始图像数据(22)进行编码并且将编码后的另外的图像数据(18)作为编码后的训练数据存储在所述数据存储器(19)中。2.根据权利要求1所述的方法，其中，如果不满足所述相似度标准(30)，则中断已经在进行的编码后的图像数据(18)的存储直到再次检测到满足所述相似度标准(30)的下一个数据序列，或者将原始图像数据存储在所述数据存储器(19)中。3.根据权利要求1或2所述的方法，其中，所述测试例程包括在选择循环中执行以下步骤：使用从预定的一组可能的编码器中选择的当前视频编码器(27)和/或使用从用于当前视频编码器的相应编码参数的一组预定的可能预设值中选择的当前预设值，对所述序列的
原始图像数据进行编码，从而产生编码后的图像数据，对编码后的图像数据解码并使用ANN对解码后的图像数据执行图像识别，从而基于评估规则生成当前评估数据，验证当前评估数据是否满足关于所述参考识别数据(26)的预定的相似度标准，如果满足所述相似度标准，则中断所述选择循环并且将具有相应的当前预设值的当前视频编码器(27)用于对接收到的原始图像数据和/或针对测试驾驶期间的未来时间区间的未来原始图像数据进行编码，以生成编码后的训练数据，否则，如果不满足所述相似度标...

【专利技术属性】
技术研发人员：R，
申请(专利权)人：阿尔戈艾有限公司，
类型：发明
国别省市：