一种用于图像数据的数据处理装置和方法制造方法及图纸

本申请提供一种用于图像数据的数据处理装置和方法。图像数据在内存中可能会存在不同位数的形式，例如8bit、10bit、12

【技术实现步骤摘要】
一种用于图像数据的数据处理装置和方法


[0001]本申请涉及数据处理
，具体而言，涉及一种用于图像数据的数据处理装置和方法。

技术介绍

[0002]随着消费电子、汽车电子、工业控制等越来越多的应用引入人工智能，人工智能面临着前所未有的快速发展，深度学习、神经网络等技术迎来了发展高潮。与此同时，为了满足人们对神经网络算力需求的不断提升，研究机构与公司开始不断研发神经网络加速器，用于安防，自动驾驶等领域，神经网络加速器主要负责进行卷积运算，但是在进行卷积运算之前，需要对数据的格式进行统一的处理。
[0003]然而，神经网络加速器的运算灵活性较差，由于数据存储的形式是多种多样的，神经网络加速器还无法对多种数据形式的数据进行处理。

技术实现思路

[0004]本申请实施例的目的在于提供一种用于图像数据的数据处理装置和方法，用以在进行神经网络处理之前，增加一级数据前处理装置，以使数据输入到卷积运算单元前的数据形式是合规的。
[0005]本申请实施例提供的一种用于图像数据的数据处理装置，包括：
[0006]解码模块，用于获取内存中关于待输入图像的第一数据，根据加速器硬件所需的数据形式，将第一数据转换为第二数据；
[0007]通道填充模块，用于当第二数据为A1个通道的第一格式的图像数据时，对第二数据填充为A2个通道的第二格式的第三数据；其中，A1和A2均为大于0的正整数，并且A1<A2；
[0008]抽取模块，用于抽取第三数据的A2个通道中目标通道的数据，并形成第四数据。
[0009]上述技术方案中，图像数据在内存中通常会采用8
‑
bit的紧密排布的形式，即每个像素点都是8bit的形式，但是，考虑到输入的图像可能会存在10
‑
bit，12
‑
bit或14
‑
bit的形式等，而神经网络模型在进行处理的时候，硬件都是基于固定的数据形式进行设计的，利用解码模块可以将数据统一处理为加速器硬件所需的数据形式。由于一些图像传感器输出的数据具有不同的通道数，例如神经网络模型统一采用A2个通道的格式，利用通道填充模块，可以将具有A1个通道的第一格式的图像数据处理为A2个通道的第二格式的第三数据。对于一些图像数据，其某一个通道的包含的数据量较大时，通常会先对目标通道的数据进行demosaic(去马赛克)以及raw域降噪等处理，利用抽取模块可以抽取目标通道的数据，以使神经网络加速器硬件能够对个别通道能够进行单独处理。
[0010]在一些可选的实施方式中，在第一数据转换为第二数据的过程中，解码模块具体用于：
[0011]将所接收的B1 bit第一数据转换为到B2 bit的第二数据，其中B1和B2均为大于0的正整数，并且B1<B2；以及
[0012]对B2 bit的第二数据中的空白位利用空值进行填充。
[0013]上述技术方案中，解码模块对第一数据转换为第二数据时，采用的是对第一数据填充空值的方式，得到第二数据。
[0014]在一些可选的实施方式中，解码模块包括解码缓存模块、空值补充模块和解码存储器；
[0015]在进行B1 bit到B2 bit的数据转换时，解码缓存模块配置为缓存输入的C个像素点的数据，并且在每个时钟单位，输出D/B2个像素点的数据至空值补充模块；其中，C、D和D/B2均为大于0的正整数，D为数据总线的总位宽，并且其满足B1
×
C<D<B1
×
(C+1)的关系；
[0016]空值补充模块配置为对B2 bit的第二数据中的空白位利用空值进行填充；
[0017]解码存储器配置为对B2 bit的数据进行缓存后输出第二数据。
[0018]上述技术方案中，解码模块在进行B1 bit到B2 bit的数据转换时，由于数据总线的总位宽为D bit，因此，解码缓存模块每次缓存的C个像素点的数据的总位宽不能超过D bit，且空值填充模块处理后的D/B2个像素点的数据的总位宽也为D bit，解码存储器输出的第二数据满足数据总线的总位宽，即第二数据能够直接输入神经网络加速器硬件中进行处理。
[0019]在一些可选的实施方式中，解码缓存模块包括：14bit缓存模块、12bit缓存模块、10bit缓存模块和8bit缓存模块，空值补充模块包括：14bit空值补充模块、12bit空值补充模块、10bit空值补充模块和8bit空值补充模块；
[0020]在进行14bit到16bit的数据转换时，14bit缓存模块配置为缓存输入的9个像素点的数据，并且，在每个时钟单位，输出8个像素点的数据至14bit空值补充模块；14bit空值补充模块配置为对每个像素点的数据进行高位或者低位数据填充空值，例如对空白的高位或者低位数据进行补0，变成16bit的数据；
[0021]在进行12bit到16bit的数据转换时，12bit缓存模块配置为缓存输入的9个像素点的数据，并且，在每个时钟单位，输出8个像素点的数据至12bit空值补充模块；12bit空值补充模块配置为对每个像素点的数据进行高位或者低位数据填充空值，例如对空白的高位或者低位数据进行补0，变成16bit的数据；
[0022]在进行10bit到16bit的数据转换时，10bit缓存模块配置为缓存输入的9个像素点的数据，并且，在每个时钟单位，输出8个像素点的数据至10bit空值补充模块；10bit空值补充模块配置为对每个像素点的数据进行高位或者低位数据填充空值，例如对空白的高位或者低位数据进行补0，变成16bit的数据；
[0023]在进行8bit到16bit的数据转换时，8bit缓存模块配置为缓存输入的9个像素点的数据，并且，在每个时钟单位，输出8个像素点的数据至8bit空值补充模块；8bit空值补充模块配置为对每个像素点的数据进行高位或者低位数据填充空值，例如对空白的高位或者低位数据进行补0，变成16bit的数据。
[0024]上述技术方案中，图像数据在内存中通常会采用8
‑
bit的紧密排布的形式，即每个像素点都是8bit的形式，但是，考虑到输入的图像可能会存在10
‑
bit，12
‑
bit或14
‑
bit的形式(原因有两点，1.不同的图像传感器产生的像素比特数可能不同，2.实际使用时，可能会根据需求对图像像素点的比特数进行压缩，例如，在暗光条件下，会采用14bit的形式进行存储，用于更多的保存有用的信息，而正常光条件下，使用8bit的形式，节省存储空间)，而
神经网络模型在进行处理的时候，硬件都是基于16
‑
bit的数据形式进行设计的，所以需要通过解码模块，将数据统一恢复到16
‑
bit的形式。
[0025]在一些可选的实施方式中，通道填充模块包括填充缓存模块、填充模块和填充存储器；
...

【技术保护点】

【技术特征摘要】
1.一种用于图像数据的数据处理装置，其特征在于，包括：解码模块，用于获取内存中关于待输入图像的第一数据，根据加速器硬件所需的数据形式，将所述第一数据转换为第二数据；通道填充模块，用于当所述第二数据为A1个通道的第一格式的图像数据时，对所述第二数据填充为A2个通道的第二格式的第三数据；其中，A1和A2均为大于0的正整数，并且A1<A2；以及抽取模块，用于抽取所述第三数据的A2个通道中目标通道的数据，并形成第四数据。2.如权利要求1所述的装置，其特征在于，在所述第一数据转换为第二数据的过程中，所述解码模块具体用于：将所接收的B1 bit第一数据转换为到B2 bit的第二数据，其中B1和B2均为大于0的正整数，并且B1<B2；以及对所述B2 bit的第二数据中的空白位利用空值进行填充。3.如权利要求2所述的装置，其特征在于，所述解码模块包括解码缓存模块、空值补充模块和解码存储器；在进行B1 bit到B2 bit的数据转换时，所述解码缓存模块配置为缓存输入的C个像素点的数据，并且在每个时钟单位，输出D/B2个像素点的数据至空值补充模块；其中，C、D和D/B2均为大于0的正整数，D为数据总线的总位宽，并且其满足B1
×
C<D<B1
×
(C+1)的关系；所述空值补充模块配置为对所述B2 bit的第二数据中的空白位利用空值进行填充；以及所述解码存储器配置为对所述B2 bit的数据进行缓存后输出第二数据。4.如权利要求3所述的装置，其特征在于，所述解码缓存模块包括：14bit缓存模块、12bit缓存模块、10bit缓存模块和8bit缓存模块，所述空值补充模块包括：14bit空值补充模块、12bit空值补充模块、10bit空值补充模块和8bit空值补充模块；在进行14bit到16bit的数据转换时，14bit缓存模块配置为缓存输入的9个像素点的数据，并且，在每个时钟单位，输出8个像素点的数据至14bit空值补充模块；14bit空值补充模块配置为对每个像素点的数据进行高位或者低位数据填充空值，变成16bit的数据；在进行12bit到16bit的数据转换时，12bit缓存模块配置为缓存输入的9个像素点的数据，并且，在每个时钟单位，输出8个像素点的数据至12bit空值补充模块；12bit空值补充模块配置为对每个像素点的数据进行高位或者低位数据填充空值，变成16bit的数据；在进行10bit到16bit的数据转换时，10bit缓存模块配置为缓存输入的9个像素点的数据，并且，在每个时钟单位，输出8个像素点的数据至10bit空值补充模块；10bit空值补充模块配置为对每个像素点的数据进行高位或者低位数据填充空值，变成16bit的数据；在进行8bit到16bit的数据转换时，8bit...

【专利技术属性】
技术研发人员：王务仑，
申请(专利权)人：北京爱芯科技有限公司，
类型：发明
国别省市：