一种基于行扫描的人工智能图像处理方法及系统技术方案

本发明专利技术公开了一种基于行扫描的人工智能图像处理方法及系统，包括：通过卷积层构建编码器和解码器，进行空间任务处理，获得空间任务模型；通过段间信息传递模块进行建模，按照时刻序列进行段间信息传递，获得时间任务模型；将空间任务模型和时间任务模型进行时空任务协同，创建基于行扫描的深度学习图像处理算法架构，获得时空任务协同模型；将图像按横向行切分，切分后将任意多个图像行组成任意高度图像段，通过时空任务协同模型对任意高度图像段进行人工智能图像处理。段进行人工智能图像处理。段进行人工智能图像处理。

【技术实现步骤摘要】
一种基于行扫描的人工智能图像处理方法及系统


[0001]本专利技术涉及人工智能图像处理
，更具体地说，本专利技术涉及一种基于行扫描的人工智能图像处理方法及系统。

技术介绍

[0002]目前，在摄影或是安防监控图像处理的质量和实时性是图像处理的两个重要性能指标，如何实时地完成高质量地图像处理，一直是现有技术的重点研究方向。传统的图像处理算法在图像信号处理器ISP的支持下有着不错的实时性【1】，但是处理质量一般，尤其在非理想条件下，如暗光【2】，或者面对富有挑战的任务，如超分辨率【3】。随着近年来深度学习的引入，图像处理的质量获得了质的提升，但随之带来了实时性难以满足的问题【2，3】。与其它深度学习算法类似，深度学习的图像处理算法在其对应的加速器的实现过程中面临着存储墙的问题，这造成了功耗和速度问题，限制了实际应用【4】；现有的深度学习的图像处理算法为了获得好的图像处理质量，需要提取图像中的全局信息，这对于大感受野提出了要求，即输出图像中的一个像素依赖于输入图像中的大片范围，为了方便这一实现，现有的深度学习算法采用全图处理方式，整张图像同时送入算法模型中进行处理，同时输出整幅图像。这种全图处理的方式使得与整幅图像相关的处理过程中的中间数据需要被缓存，造成了巨大的存储需求，这个存储需求随着图像分辨率的增长二次方地提高，对于720p的分辨率，存储需求就超过了100MB，这在深度学习加速器的设计过程中就产生了严重的存储墙问题，造成巨大的功耗和延时，使得实际应用难以利用深度学习在图像处理质量上的优势。虽然有技术尝试从硬件设计结构上解决存储墙问题，如存内计算【5】，但离实际应用还存在很多问题；图像传感器是通过行扫描的方式一行行送出图像数据的；因此，有必要提出一种基于行扫描的人工智能图像处理方法及系统，以至少部分地解决现有技术中存在的问题。

技术实现思路

[0003]在
技术实现思路
部分中引入了一系列简化形式的概念，这将在具体实施方式部分中进一步详细说明；本专利技术的
技术实现思路
部分并不意味着要试图限定出所要求保护的技术方案的关键特征和必要技术特征，更不意味着试图确定所要求保护的技术方案的保护范围。
[0004]为至少部分地解决上述问题，本专利技术提供了一种基于行扫描的人工智能图像处理方法，包括：
[0005]S100，通过卷积层构建编码器和解码器，进行空间任务处理，获得空间任务模型；
[0006]S200，通过段间信息传递模块进行建模，按照时刻序列进行段间信息传递，获得时间任务模型；
[0007]S300，将空间任务模型和时间任务模型进行时空任务协同，创建基于行扫描的深度学习图像处理算法架构，获得时空任务协同模型；
[0008]S400，将图像按横向行切分，切分后将任意多个图像行组成任意高度图像段，通过
时空任务协同模型对任意高度图像段进行人工智能图像处理。
[0009]优选的，所述S100包括：
[0010]S101，通过第一经典卷积层构建编码器；通过第二经典卷积层构建解码器；
[0011]S102，将任意高度图像段输入编码器，经过多个信息传递模块处理，通过解码器输出，执行任意高度图像段当前1段的处理，进行空间任务处理；
[0012]S103，通过构建编码器及构建解码器，进行空间任务处理，获得空间任务模型。
[0013]优选的，所述S200包括：
[0014]S201，通过段间信息传递模块进行建模，进行相关性的提取及相关信息融合；段间信息传递模块包括：段间相关性提取模块和相关信息融合模块；
[0015]S202，将多个时刻值构成时刻序列，将由上到下的多个任意高度图像段依次对应时刻序列中的由先到后多个时刻值；
[0016]S203，按照时刻序列通过段间信息传递模块进行段间信息传递，打破感受野限制，获得时间任务模型。
[0017]优选的，所述S300包括：
[0018]S301，将空间任务模型和时间任务模型进行时空任务协同，将编码器设置在段间信息传递模块之前，作为任意高度图像段输入端；
[0019]S302，将解码器设置在段间信息传递模块之后，作为任意高度图像段输出端；
[0020]S303，通过编码器、解码器和多个段间信息传递模块相连设置，创建基于行扫描的深度学习图像处理算法架构，获得时空任务协同模型。
[0021]优选的，所述S400包括：
[0022]S401，将图像按横向行切分，切分后将任意多个图像行组成任意高度图像段；每一个任意高度图像段对应第一时刻序列中的每一个时刻值；任意高度图像段的高度，通过其包含的图像行数量为任意数量设置为任意高度；如果图像切分到最后一段，不满足设置的高度，则可以采取补齐所缺行的措施方法，补齐所缺行的措施方法包括：直接补零补齐所缺行、以当前段最后一行的数据进行补充或者进行镜像补充；
[0023]S402，将多个任意高度图像段按照空间上下顺序排列；每一个任意高度图像段处理后对应第二时刻序列中的每一个时刻值；
[0024]S403，当图像传感器一行一行扫描输入图像时，累积达到设定的高度，获得一段任意高度图像段，即送入时空任务协同模型中并通过算法进行处理；将每一段任意高度图像段依次输入时空任务协同模型中进行处理；通过时空任务协同模型对任意高度图像段进行人工智能图像处理。
[0025]优选的，所述S201包括：
[0026]S2011，通过段间信息传递模块进行建模，进行相关性的提取及相关信息融合；
[0027]S2012，通过段间相关性提取模块，进行相关性的提取，剔除无用信息；
[0028]S2013，通过相关信息融合模块，采用残差特征加强，将有用信息跟当前任意高度图像段的信息进行相关信息融合。
[0029]优选的，所述S2012包括：
[0030]S2112，建立相关性提取解决模型；在相关性提取解决模型中，将图像信息分为两部分：第一全局信息G和对当前段有用第一信息U，它们将随着输入的图像行不断更新；同时
保持图像信息尺寸不变，保持和当前段信息的尺寸相同，保持存储友好特性；全局信息G会根据前一状态的第二全局信息Gn
‑
1，当前段信息xn以及前一状态的对当前段有用第二信息Un
‑
1进行更新获得第三全局信息Gn，第一信息U根据第二信息Un
‑
1、当前段信息xn以及第三全局信息Gn进行更新获得对当前段有用第三信息Un；
[0031]S2212，基于相关性提取解决模型，构建相关性提取模块；相关性提取模块具体架构包括：i表示输入单元；if表示输入信息处理单元；o表示输出单元，of表示输出信息处理单元；s表示筛选单元；其中o、i、s单元由3*3核尺寸、步长为1，通道数和输入信息一致的卷积及sigmoid激活函数构成；if单元由3*3核尺寸、步长为1，通道数和输入信息一致的卷积及tanh激活函数构成；of单元则由tanh激活函数构成；通过段间相关性提取模块，进行相关性本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于行扫描的人工智能图像处理方法，其特征在于，包括：S100，通过卷积层构建编码器和解码器，进行空间任务处理，获得空间任务模型；S200，通过段间信息传递模块进行建模，按照时刻序列进行段间信息传递，获得时间任务模型；S300，将空间任务模型和时间任务模型进行时空任务协同，创建基于行扫描的深度学习图像处理算法架构，获得时空任务协同模型；S400，将图像按横向行切分，切分后将任意多个图像行组成任意高度图像段，通过时空任务协同模型对任意高度图像段进行人工智能图像处理。2.根据权利要求1所述的一种基于行扫描的人工智能图像处理方法，其特征在于，所述S100包括：S101，通过第一经典卷积层构建编码器；通过第二经典卷积层构建解码器；S102，将任意高度图像段输入编码器，经过多个信息传递模块处理，通过解码器输出，执行任意高度图像段当前1段的处理，进行空间任务处理；S103，通过构建编码器及构建解码器，进行空间任务处理，获得空间任务模型。3.根据权利要求1所述的一种基于行扫描的人工智能图像处理方法，其特征在于，所述S200包括：S201，通过段间信息传递模块进行建模，进行相关性的提取及相关信息融合；段间信息传递模块包括：段间相关性提取模块和相关信息融合模块；S202，将多个时刻值构成时刻序列，将由上到下的多个任意高度图像段依次对应时刻序列中的由先到后多个时刻值；S203，按照时刻序列通过段间信息传递模块进行段间信息传递，打破感受野限制，获得时间任务模型。4.根据权利要求1所述的一种基于行扫描的人工智能图像处理方法，其特征在于，所述S300包括：S301，将空间任务模型和时间任务模型进行时空任务协同，将编码器设置在段间信息传递模块之前，作为任意高度图像段输入端；S302，将解码器设置在段间信息传递模块之后，作为任意高度图像段输出端；S303，通过编码器、解码器和多个段间信息传递模块相连设置，创建基于行扫描的深度学习图像处理算法架构，获得时空任务协同模型。5.根据权利要求1所述的一种基于行扫描的人工智能图像处理方法，其特征在于，所述S400包括：S401，将图像按横向行切分，切分后将任意多个图像行组成任意高度图像段；每一个任意高度图像段对应第一时刻序列中的每一个时刻值；任意高度图像段的高度，通过其包含的图像行数量为任意数量设置为任意高度；如果图像切分到最后一段，不满足设置的高度，则可以采取补齐所缺行的措施方法，补齐所缺行的措施方法包括：直接补零补齐所缺行、以当前段最后一行的数据进行补充或者进行镜像补充；S402，将多个任意高度图像段按照空间上下顺序排列；每一个任意高度图像段处理后对应第二时刻序列中的每一个时刻值；S403，当图像传感器一行一行扫描输入图像时，累积达到设定的高度，获得一段任意高
度图像段，即送入时空任务协同模型中并通过算法进行处理；将每一段任意高度图像段依次输入时空任务协同模型中进行处理；通过时空任务协同模型对任意高度图像段进行人工智能图像处理。6.根据权利要求2所述的一种基于行扫描的人工智能图像处理方法，其特征在于，所述S201包括：S2011，通过段间信息传递模块进行建模，进行相关性的提取及相关信息融合；S2012，通过段间相关性提取模块，进行相关性的提取，剔除无用信息；S2013，通过相...

【专利技术属性】
技术研发人员：黄宇杰，王明宇，
申请(专利权)人：上海宇勘科技有限公司，
类型：发明
国别省市：