基于神经网络算法的处理视频图像的方法和装置制造方法及图纸

本申请提出了一种基于神经网络算法的处理视频图像的方法，包括：确定视频图像中的当前帧的原始图像数据和前一帧的图像数据；对所述当前帧的原始图像数据和所述前一帧的图像数据进行差分运算得到差分数据，所述差分数据表示当前帧图像相对于前一帧图像的变化程度；根据所述差分数据确定第一图像数据，所述第一图像数据的数据量少于所述当前帧的原始图像数据的数据量；根据所述神经网络算法，对所述第一图像数据进行线性处理和非线性处理。因此，本发明专利技术实施例的处理视频图像的方法，通过在利用神经网络算法进行视频图像处理的过程中对每相邻两帧之间的数据进行差分处理，使得被处理的图像中的数据量减少，从而高效地完成视频图像输出。

【技术实现步骤摘要】

本专利技术涉及通信领域，尤其涉及通信领域中的基于神经网络算法的处理视频图像的方法和装置。
技术介绍
目前，神经网络和深度学习算法已经获得了非常成功的应用，并处于迅速发展的过程中，业界普遍预期新的计算方式有助于实现更为普遍、复杂的智能应用。特别是卷积神经网络(ConvolutionalNeuralNetwork，简称“CNN”)，近年来在图像识别应用领域取得了非常突出的成就，因此业界对CNN算法的优化及高效率实现开始关注并重视，诸如Facebook、Qualcomm、Baidu和Google等公司都投入了CNN优化算法的研究。Qualcomm公司发布了在下一代芯片中集成神经网络处理模块的计划，提高CNN的处理效率，相关算法的改进，以及芯片实现的效率是其关注和研究的核心问题。随着应用和实现能力的持续提高，神经网络在视频信息处理中的应用也成为非常普遍的期待。但视频处理带来了极大的计算量和实时计算要求，如何提高视频处理的有效性和效率变得非常重要。
技术实现思路
有鉴于此，本专利技术实施例提供了一种基于神经网络算法的处理视频图像的方法和装置，以解决神经网络在视频图像处理过程中的处理效率较低的问题。第一方面，提供了一种基于神经网络算法的处理视频图像的方法，其特征在于，所述方法包括：确定视频图像中的当前帧的原始图像数据和前一帧的图像数据；对所述当前帧的原始图像数据和所述前一帧的图像数据进行差分运算得到差分数据，所述差分数据表示当前帧图像相对于前一帧图像的变化程度；根据所述差分数据确定第一图像数据，所述第一图像数据的数据量少于所述当前帧的原始图像数据的数据量；根据所述神经网络算法，对所述第一图像数据进行线性处理和非线性处理。可选地，所述根据所述神经网络算法，对所述第一图像数据进行线性处理和非线性处理，包括：根据所述神经网络算法，对所述第一图像数据进行线性处理，并对所述线性处理后的所述第一图像数据进行非线性处理。在第一方面的第一种可能的实现方式中，所述根据所述神经网络算法，对所述第一图像数据进行线性处理和非线性处理，包括：根据所述神经网络算法，对所述第一图像数据进行线性处理；根据所述线性处理后的所述第一图像数据和所述前一帧的图像数据，确定第二图像数据，所述第二图像数据为当前帧的处理图像数据；根据所述神经网络算法，对所述第二图像数据进行非线性处理。应理解，本专利技术实施例中的视频图像的处理过程中，可以根据所述线性处理后的第一图像数据和所述前一帧的图像数据确定第二图像数据，即确定当前帧的处理图像数据；也可以不确定所述当前帧的处理图像数据，而是直接输出线性处理后的第一图像数据给后级处理单元，以便于后续直接对图像特征进行提取。可选地，所述根据所述线性处理后的所述第一图像数据和所述前一帧的图像数据，确定第二图像数据，包括：对所述线性处理后的所述第一图像数据和所述前一帧的图像数据进行累加运算，并根据所述累加运算的结果确定所述第二图像数据。应理解，所述根据所述神经网络算法，对所述第一图像数据进行线性处理和非线性处理，还可以包括：根据所述神经网络算法，对所述第一图像数据进行线性处理；对所述线性处理后的所述第一图像数据进行非线性处理；根据所述非线性处理后的所述第一图像数据和所述前一帧的图像数据，确定第二图像数据，所述第二图像数据为当前帧的处理图像数据。结合第一方面的上述可能的实现方式，在第一方面的第二种可能的实现方式中，所述根据所述差分数据确定第一图像数据，包括：确定所述差分数据中绝对值大于差分阈值的数据为第一图像数据。可选地，所述差分阈值为0。也就是说，可以设置一个阈值，当该差分数据的绝对值小于该阈值时，认为图像变化不明显，而不对其进行重复处理；当该差分数据大于该阈值时，认为图像变化剧烈，需要对其进行处理。例如当差分阈值为0时，对差分数据为0的地方可以不再进行重复处理，只对差分数据不为0的地方进行数据处理。结合第一方面的上述可能的实现方式，在第一方面的第三种可能的实现方式中，在所述根据所述神经网络算法，对所述第二图像数据进行非线性处理之前，所述方法还包括：根据所述视频图像的目标直流分量和所述目标直流分量的误差范围，对所述第二图像数据中超过预设范围的数据进行调整。可选地，所述对所述第二图像中超过预设范围的数据进行调整，包括：确定第二图像数据中的与待调整数据相邻或相近的至少一个数据的调整量；根据所述至少一个数据的调整量的平均值或者加权平均值，对所述待调整数据进行调整。应理解，本专利技术实施例中的视频处理装置可以应用在CNN网络前级。这种情况下，对于相对静止、图像变化相对比较小的场景就特别有效。因为CNN网络前级对图像进行处理后图像较接近原始图像的数据信息，在相对静止或图像变化比较少的场景下，两帧图像数据或图像特征数据的变化比较小，相减后，不为0的数据就非常少，能够大大降低后级网络的处理量。本专利技术实施例中的视频处理装置还可以应用在CNN网络后级，这种情况下，对于图像中的目标实体在运动但实体对象不变的情况下比较有效。因为到达CNN网络的后级时，对图像的处理主要侧重于图像特征的抽取，是对原始图像的高度抽象。对于运动物体来说，其物体特征基本不变，当到达CNN网络的后级时已经体现为物体的特征。所以即使图像阵列在剧烈变换，但其特征基本稳定。这样的处理可以显著降低全连接层的处理量。这样，在对该视频图像利用神经网络算法进行处理的过程中，通过对每相邻两帧之间的数据进行差分处理，使得被处理的图像中的数据量大大减少，大大降低处理单元的处理量，从而降低了处理单元的能耗，提高了视频处理的效率和能效比，使得能够高效地完成视频图像的输出。可选地，所述神经网络算法为卷积神经网络CNN算法。第二方面，提供了一种基于神经网络算法的处理视频图像的装置，用于执行上述第一方面或第一方面的任意可能的实现方式中的方法。具体地，该装置包括：确定模块，用于确定视频图像中的当前帧的原始图像数据和前一帧的图像数据；差分模块，用于对所述确定模块确定的所述当前帧的原始图像数据和所述前一帧的图像数据进行差分运算得到差分数据，所述差分数据表示当前帧图像相对于前一帧图像的变化程度；所述确定模块还用于，根据所述差分模块计算的所述差分数据确定第一图像数据，所述第一图像数据的数据量少于所述当前帧的原始图像数据的本文档来自技高网...

【技术保护点】
一种基于神经网络算法的处理视频图像的方法，其特征在于，所述方法包括：确定视频图像中的当前帧的原始图像数据和前一帧的图像数据；对所述当前帧的原始图像数据和所述前一帧的图像数据进行差分运算得到差分数据，所述差分数据表示当前帧图像相对于前一帧图像的变化程度；根据所述差分数据确定第一图像数据，所述第一图像数据的数据量少于所述当前帧的原始图像数据的数据量；根据所述神经网络算法，对所述第一图像数据进行线性处理和非线性处理。

【技术特征摘要】
1.一种基于神经网络算法的处理视频图像的方法，其特征在于，所述
方法包括：
确定视频图像中的当前帧的原始图像数据和前一帧的图像数据；
对所述当前帧的原始图像数据和所述前一帧的图像数据进行差分运算
得到差分数据，所述差分数据表示当前帧图像相对于前一帧图像的变化程
度；
根据所述差分数据确定第一图像数据，所述第一图像数据的数据量少于
所述当前帧的原始图像数据的数据量；
根据所述神经网络算法，对所述第一图像数据进行线性处理和非线性处
理。
2.如权利要求1所述的方法，其特征在于，所述根据所述神经网络算
法，对所述第一图像数据进行线性处理和非线性处理，包括：
根据所述神经网络算法，对所述第一图像数据进行线性处理；
根据所述线性处理后的所述第一图像数据和所述前一帧的图像数据，确
定第二图像数据，所述第二图像数据为当前帧的处理图像数据；
根据所述神经网络算法，对所述第二图像数据进行非线性处理。
3.如权利要求2所述的方法，其特征在于，所述根据所述线性处理后
的所述第一图像数据和所述前一帧的图像数据，确定第二图像数据，包括：
对所述线性处理后的所述第一图像数据和所述前一帧的图像数据进行
累加运算，并根据所述累加运算的结果确定所述第二图像数据。
4.如权利要求2或3所述的方法，其特征在于，在所述根据所述神经
网络算法，对所述第二图像数据进行非线性处理之前，所述方法还包括：
根据所述视频图像的目标直流分量和所述目标直流分量的误差范围，对
所述第二图像数据中超过预设范围的数据进行调整。
5.如权利要求4所述的方法，其特征在于，所述对所述第二图像数据
中超过预设范围的数据进行调整，包括：
确定第二图像数据中的与待调整数据相邻或相近的至少一个数据的调
整量；
根据所述至少一个数据的调整量的平均值或者加权平均值，对所述待调

\t整数据进行调整。
6.如权利要求1至5中任一项所述的方法，其特征在于，所述根据所
述差分数据确定第一图像数据，包括：
确定所述差分数据中绝对值大于差分阈值的数据为第一图像数据。
7.如权利要求1至6中任一项所述的方法，其特征在于，所述差分阈
值为0。
8.一种基于神经网络算法的处理视频图像的装置，...

【专利技术属性】
技术研发人员：费旭东，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：广东;44