基于图像数据Y分量的处理方法、装置、设备及存储介质制造方法及图纸

本申请提出一种基于图像数据Y分量的处理方法、装置、电子设备及存储介质，该方法包括：对待处理的图像数据进行解析，得到图像数据在YCbCr色彩空间的Y分量；通过第一网络对Y分量循环进行卷积运算、拼接运算及池化运算，并输出卷积运算数据；通过第二网络对卷积运算数据依次进行卷积运算和上采样运算，并将上采样运算后的数据和卷积运算数据进行拼接，输出拼接运算数据；通过第三网络对拼接运算数据再次进行卷积运算，输出图像处理数据。本申请能够在保证计算结果的前提下，简化了卷积计算过程，从本质上解决了卷积神经网络模型计算延迟大的问题。的问题。的问题。

【技术实现步骤摘要】
基于图像数据Y分量的处理方法、装置、设备及存储介质


[0001]本申请属于图像处理
，具体涉及一种基于图像数据Y分量的处理方法、装置、设备及存储介质。

技术介绍

[0002]卷积神经网络模型(Convolutional Neural Networks，CNN)是一类包含卷积计算且具有深度结构的前馈神经网络，是深度学习的代表算法之一。由于卷积神经网络模型计算过程较为复杂，处理的数据较多，所以，目前大多卷积神经网络模型都存在计算延迟的问题。
[0003]现有技术中，通过GPU(graphics processing unit，图形处理器)实现卷积神经网络模型，以期提高卷积神经网络模型的计算速度，解决了卷积神经网络模型计算延迟大的问题。但是，GPU往往功耗较高、价格比较昂贵、开发及维护成本也较高，不利于卷积神经网络模型的应用及推广。

技术实现思路

[0004]本申请提出一种基于图像数据Y分量的处理方法、装置、电子设备及存储介质，从本质上解决了卷积神经网络模型计算延迟大的问题。
[0005]本申请第一方面实施例提出了一种基于图像数据Y分量的处理方法，基于预先训练的卷积神经网络模型实现，所述卷积神经网络模型包括第一网络、第二网络及第三网络；所述方法包括：
[0006]对待处理的图像数据进行解析，得到图像数据在YCbCr色彩空间的Y分量；
[0007]通过所述第一网络对所述Y分量循环进行卷积运算、拼接运算及池化运算，并输出卷积运算数据；
[0008]通过所述第二网络对所述卷积运算数据依次进行卷积运算和上采样运算，并将上采样运算后的数据和所述卷积运算数据进行拼接，输出拼接运算数据；
[0009]通过第三网络对所述拼接运算数据再次进行卷积运算，输出图像处理数据。
[0010]在本申请的一些实施例中，所述对待处理的图像数据进行解析，得到图像数据在YCbCr色彩空间的Y分量，包括：
[0011]通过查找标准的霍夫曼表，按照字节对所述图像数据的头文件进行解析；
[0012]对解析后的头文件进行反量化处理和反zig
‑
zag变换，得到图像数据在YCbCr色彩空间的各分量；
[0013]从所述各分量中提取所述Y分量。
[0014]在本申请的一些实施例中，所述通过查找标准的霍夫曼表，按照字节对所述图像数据的头文件进行解析之前，还包括：
[0015]通过AXI
‑
stream接口接入32比特位的待处理的图像数据，并将所述图像数据转换为解码协议所用的8比特位的图像数据。
[0016]在本申请的一些实施例中，所述第一网络包括第一单卷积运算模块、组合卷积运算模块、第一拼接运算模块及最大池化运算模块；
[0017]通过所述第一网络对所述Y分量循环进行卷积运算、拼接运算及池化运算，并输出卷积运算数据，包括：
[0018]通过所述第一单卷积运算模块对所述Y分量进行多次卷积运算，得到所述组合卷积运算模块的输入数据；
[0019]通过所述组合卷积运算模块对所述输入数据进行组合卷积运算，得到组合卷积数据；
[0020]通过所述第一拼接运算模块对所述输入数据和所述组合卷积数据进行拼接，得到拼接数据；
[0021]通过所述最大池化运算模块对所述拼接数据进行最大池化运算，通过所述第一单卷积运算模块对池化后的数据进行卷积运算，得到下一周期所述组合卷积运算模块的输入数据；
[0022]输出所述组合卷积数据和所述第一网络进行最后一次卷运算得到的末次卷积运算数据。
[0023]在本申请的一些实施例中，所述第二网络包括第二单卷积运算模块、上采样模块及第二拼接模块；
[0024]通过所述第二网络对所述卷积运算数据依次进行卷积运算和上采样运算，并将上采样运算后的数据和所述卷积运算数据进行拼接，输出拼接运算数据，包括：
[0025]通过所述第二单卷积运算模块对所述末次卷积运算数据进行卷积运算，得到二次卷积数据；
[0026]通过所述上采样模块对所述二次卷积数据进行上采样运算，并通过所述第二拼接模块对上采样后的数据和末次组合卷积数据进行拼接运算，得到拼接运算数据。
[0027]在本申请的一些实施例中，所述第三网络包括第三单卷积运算模块、第四单卷积运算模块及图像数据输出模块；
[0028]通过第三网络对所述拼接运算数据再次进行卷积运算，输出图像处理数据，包括：
[0029]依次通过所述第三单卷积运算模块和所述第四单卷积运算模块对所述拼接运算数据再次进行卷积运算，得到图像处理数据；
[0030]通过所述图像数据输出模块将所述图像处理数据按照预设格式进行输出。
[0031]在本申请的一些实施例中，采用基于FPGA的硬件对所述卷积神经网络模型进行加速，并基于加速后的卷积神经网络模型实现所述基于图像数据Y分量的处理方法。
[0032]在本申请的一些实施例中，所述通过所述第一网络对所述Y分量循环进行卷积运算、拼接运算及池化运算，并输出卷积运算数据之前，还包括：
[0033]构建所述卷积神经网络模型的结构；
[0034]获取训练数据集；
[0035]根据所述训练数据集，对所述卷积神经网络模型进行训练。
[0036]本申请第二方面的实施例提供了一种基于图像数据Y分量的处理装置，所述装置包括：
[0037]第一处理模块，用于通过所述第一网络对所述Y分量循环进行卷积运算、拼接运算
及池化运算，并输出卷积运算数据；
[0038]第二处理模块，用于通过所述第二网络对所述卷积运算数据依次进行卷积运算和上采样运算，并将上采样运算后的数据和所述卷积运算数据进行拼接，输出拼接运算数据；
[0039]第三处理模块，用于通过第三网络对所述拼接运算数据再次进行卷积运算，输出图像处理数据。
[0040]本申请第三方面的实施例提供了一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器运行所述计算机程序以实现如第一方面所述的方法。
[0041]本申请第四方面的实施例提供了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行实现如第一方面所述的方法。
[0042]本申请实施例中提供的技术方案，至少具有如下技术效果或优点：
[0043]本申请实施例提供的基于图像数据Y分量的处理方法，基于预先训练到的卷积神经网络模型实现，且本实施例在执行该方法之前，对常规卷积神经网络模型进行精简，降低网络模型复杂度，使得该卷积神经网络模型可以先生成图像数据的图像数据在YCbCr色彩空间的Y分量，并基于该图像数据在YCbCr色彩空间的Y分量进行后续的卷积神经网络相关运算，降低了图像解码的复杂度，从而简化卷积神经网络运算过程，从本质上缩减卷积神经网络的计算时间，从而解决了卷积神经网络模型计算延迟大的问题。
附图说明
[0044]通过阅本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于图像数据Y分量的处理方法，其特征在于，基于预先训练的卷积神经网络模型实现，所述卷积神经网络模型包括第一网络、第二网络及第三网络；所述方法包括：对待处理的图像数据进行解析，得到图像数据在YCbCr色彩空间的Y分量；通过所述第一网络对所述Y分量循环进行卷积运算、拼接运算及池化运算，并输出卷积运算数据；通过所述第二网络对所述卷积运算数据依次进行卷积运算和上采样运算，并将上采样运算后的数据和所述卷积运算数据进行拼接，输出拼接运算数据；通过第三网络对所述拼接运算数据再次进行卷积运算，输出图像处理数据。2.根据权利要求1所述的方法，其特征在于，所述对待处理的图像数据进行解析，得到图像数据在YCbCr色彩空间的Y分量，包括：通过查找标准的霍夫曼表，按照字节对所述图像数据的头文件进行解析；对解析后的头文件进行反量化处理和反zig
‑
zag变换，得到图像数据在YCbCr色彩空间的各分量；从所述各分量中提取所述Y分量。3.根据权利要求2所述的方法，其特征在于，所述通过查找标准的霍夫曼表，按照字节对所述图像数据的头文件进行解析之前，还包括：通过AXI
‑
stream接口接入32比特位的待处理的图像数据，并将所述图像数据转换为解码协议所用的8比特位的图像数据。4.根据权利要求1所述的方法，其特征在于，所述第一网络包括第一单卷积运算模块、组合卷积运算模块、第一拼接运算模块及最大池化运算模块；通过所述第一网络对所述Y分量循环进行卷积运算、拼接运算及池化运算，并输出卷积运算数据，包括：通过所述第一单卷积运算模块对所述Y分量进行多次卷积运算，得到所述组合卷积运算模块的输入数据；通过所述组合卷积运算模块对所述输入数据进行组合卷积运算，得到组合卷积数据；通过所述第一拼接运算模块对所述输入数据和所述组合卷积数据进行拼接，得到拼接数据；通过所述最大池化运算模块对所述拼接数据进行最大池化运算，通过所述第一单卷积运算模块对池化后的数据进行卷积运算，得到下一周期所述组合卷积运算模块的输入数据；输出所述组合卷积数据和所述第一网络进行最后一次卷运算得到的末次卷积运算数据。5.根据权利要求4所述的方法，其特征在于，所述第二网络包括第二单卷积运算模块、上采样模块及第二拼接模块；通过所述第二网络对所述卷积运算数据依次进行卷积运算和上采样...

【专利技术属性】
技术研发人员：张尧，曹玉龙，景博，周哲，孙康睿，
申请(专利权)人：浙江省北大信息技术高等研究院，
类型：发明
国别省市：