画风转换方法及相关产品技术

本公开提供了一种画风转换方法，所述方法应用于计算装置内，所述计算装置包括：DMA单元和运算单元；所述方法包括如下步骤：通过DMA单元获取待处理的帧图像，所述帧图像具备第一风格的画风；运算单元调用运算指令对所述帧图像进行画风转换处理，从而获得目标图像；其中，所述目标图像具备第二风格的画风，所述第二风格有别于所述第一风格，所述运算指令为预先设置用于图像画风转换的指令。本申请提供的技术方案具有进行画风转转的速度快，效率高的优点。

Conversion Method of Painting Style and Related Products

The present disclosure provides a painting style conversion method, which is applied to a computing device. The computing device includes a DMA unit and an operation unit. The method comprises the following steps: acquiring a frame image to be processed through a DMA unit, the frame image has a first style painting style; and the operation unit calls operation instructions to convert the frame image to obtain the painting style conversion process. The target image has a second style of painting style, which is different from the first style, and the operation instructions are pre-set instructions for image painting style conversion. The technical scheme provided in this application has the advantages of fast speed and high efficiency in turning the painting style.

【技术实现步骤摘要】
画风转换方法及相关产品
本申请涉及信息处理
，具体涉及一种画风转换方法及相关产品。
技术介绍
随着信息技术的不断发展和人们日益增长的需求，人们对信息及时性的要求越来越高了。目前，终端对信息的获取以及处理均是基于通用处理器获得的，例如在通用处理器运行指定应用程序以实现图像的画风转换处理等等。在实践中发现，这种基于通用处理器运行软件程序来处理信息的方式，受限于通用处理器的运行速率，特别是在通用处理器负荷较大的情况下，进行图像的画风转换的效率较低、时延较大。申请内容本申请实施例提供了一种画风转换方法及相关产品，可提升计算装置进行图像的画风转换的处理速度，提高效率。第一方面，提供一种画风转换方法，应用于计算装置内，所述计算装置包括运算单元和直接内存访问DMA单元，所述DMA单元包括DMA控制器和寄存器模块，所述方法包括：所述DMA控制器从所述寄存器模块获取第一地址和第二地址；所述DMA控制器从所述第一地址对应的存储空间中获取待处理的帧图像，所述帧图像具备第一风格的画风；所述计算装置控制所述运算单元获取运算指令，以调用所述运算指令对所述帧图像进行画风转换处理，从而获得目标图像；并所述目标图像发送至所述DMA控制器；其中，所述目标图像具备第二风格的画风，所述第二风格有别于所述第一风格，所述运算指令为预先设置用于图像画风转换的指令；所述DMA控制器将所述目标图像存储至所述第二地址对应的存储空间中。在一些可能的实施例中，所述帧图像携带有用户输入的风格转换参数，所述风格转换参数用于指示所述帧图像所需转换的第二风格。在一些可能的实施例中，所述帧图像包括待转帧图像以及参考帧图像，其中，所述参考帧图像的画风为用于指示所述待转帧图像所需转换的第二风格。在一些可能的实施例中，所述计算装置还包括寄存器单元以及控制器单元，所述帧图像包括待转帧图像以及参考帧图像，所述运算单元获取运算指令，以调用所述运算指令对所述帧图像进行画风转换处理，从而获得目标图像包括：所述控制器单元从所述寄存器单元中提取第一网络模型关联的第一运算指令以及第二网络模型关联的第二运算指令，并发送给所述运算单元；所述运算单元调用所述第一网络模型关联的第一运算指令，根据所述参考帧图像指示的画风对所述待转帧图像进行画风转换处理，从而获得预测帧图像；所述运算单元调用所述第二网络模型关联的第二运算指令，分别对所述预测帧图像、所述待转帧图像以及所述参考帧图像进行图像过滤以及条件判断；所述运算单元在满足预设的判断条件时，将所述预测帧图像作为所述目标图像；否则，更新所述第一网络模型，重新执行所述调用第一网络模型关联的第一运算指令，根据所述参考帧图像指示的画风对所述待转帧图像进行画风转换处理，从而获得预测帧图像的步骤；其中，所述判断条件分别与所述预测帧图像、所述待转帧图像以及所述参考帧图像均关联，所述第一网络模型以及所述第二网络模型为用户侧或终端侧预先设置的。在一些可能的实施例中所述运算单元调用所述第二网络模型关联的第二运算指令，分别对所述预测帧图像、所述待转帧图像以及所述参考帧图像进行图像过滤以及条件判断包括：所述运算单元将所述预测帧图像、所述待转帧图像以及所述参考帧图像分别作为第二网络模型的输入，从而获得所述预测帧图像对应的中间图像数据Pij或中间图像数据Aij、所述待转帧图像对应的中间图像数据Fij以及所述参考帧图像对应的中间图像数据Gij；所述运算单元在中间图像数据Fij、Pij、Gij、Aij满足预设的判断条件时，则确定所述预测帧图像为所述目标图像；其中，所述第二网络模型包括：所述判断条件包括：L小于或等于预设阈值，L＝aLcontent+bLtexture，Z为所述预测帧图像，X为所述待转帧图像，Y为所述参考帧图像。在一些可能的实施例中，所述待转帧图像包括第i个和第i+1个待转帧图像，在获得与所述第i个和第i+1个待转帧图像各自对应的第i个目标图像和第i+1个目标图像后，所述方法还包括：所述控制器单元从所述寄存器单元中提取调用运动估计算法关联的第三运算指令，并发送给所述运算单元；所述运算单元调用运动估计算法关联的第三运算指令，根据所述第i个目标图像和第i+1个目标图像，获得第i+2个预测帧图像，其中，所述第i+2个预测帧图像与第i+2个待转帧图像对应；所述运算单元调用第二网络模型关联的第二运算指令，分别对所述第i+2个预测帧图像、第i+2个待转帧图像以及所述参考帧进行图像过滤以及条件判断；所述运算单元在满足预设的判断条件时，将所述第i+2个预测帧图像作为所述第i+2个目标图像；否则，重新执行所述调用第一网络模型关联的第一运算指令，根据所述参考帧图像指示的画风对所述第i+2待转帧图像进行画风转换处理，从而获得第i+2个预测帧图像的步骤。在一些可能的实施例中，所述运算单元包括通过互联模块互联的主运算模块以及多个从运算模块，所述运算指令为卷积运算指令时，所述调用所述运算指令对所述帧图像进行画风转换处理包括：所述从运算模块实现卷积神经网络算法中的输入数据和卷积核的卷积运算，所述输入数据为所述帧图像，所述卷积神经网络算法与所述卷积运算指令对应；所述所述互联模块实现所述主运算模块与所述从运算模块之前的数据传输，在神经网络全连接层正向运算开始之前，所述主运算模块通过互联模块将所述输入数据发送给每个从运算模块，在从运算模块计算结束后，互联模块逐级将各个从运算模块的输出标量拼成中间向量，并返回给主运算模块；所述主运算模块将所有输入数据对应的中间向量拼接成中间结果，并对所述中间结果执行后续运算。在一些可能的实施例中，所述对所述中间结果执行后续运算包括：所述主运算模块将中间结果与偏置数据相加，然后执行激活操作。在一些可能的实施例中，所述主运算模块包括第一运算单元，所述第一运算单元包括向量加法单元以及激活单元，所述主运算模块将中间结果与偏置数据相加，然后执行激活操作包括：所述向量加法单元实现卷积神经网络正向计算中的加偏置操作，将偏置数据与中间结果对位相加得到偏置结果；所述激活单元对偏置结果执行激活函数操作。在一些可能的实施例中，所述主运算模块包括第一存储单元、第一运算单元、第一数据依赖关系判定单元和第一存储单元；所述第一存储单元缓存主运算模块在计算过程中用到的输入数据和输出数据，所述输出数据包括所述预测帧图像和/或所述目标图像；所述第一运算单元完成主运算模块的各种运算功能；所述数据依赖关系判定单元保证对所述第一存储单元的数据的读写不存在一致性冲突，并负责从第一存储单元读取输入的神经元向量，并通过互联模块发送给从运算模块；以及来自互连模块的中间结果向量被发送到第一运算单元。在一些可能的实施例中，所述从运算模块包括第二运算单元，所述第二运算单元包括向量乘单元以及累加单元，所述从运算模块实现卷积神经网络算法中的输入数据和卷积核的卷积运算包括：所述向量乘单元实现卷积运算中的向量乘运算；所述累加单元实现卷积运算中的累加运算。在一些可能的实施例中，所述从运算单元包括第二运算单元、第二数据依赖关系判定单元、第二存储单元和第三存储单元；所述第二运算单元完成从运算模块的各种算术逻辑运算；所述第二数据依赖关系判定单元负责计算过程中对第二存储单元和第三存储单元的读写操作，并保证对第二存储单元和本文档来自技高网...

【技术保护点】
1.一种画风转换方法，其特征在于，应用于计算装置内，所述计算装置包括运算单元和直接内存访问DMA单元，所述DMA单元包括DMA控制器和寄存器模块；所述方法包括：所述DMA控制器从所述寄存器模块获取第一地址和第二地址；所述DMA控制器从所述第一地址对应的存储空间中获取待处理的帧图像，所述帧图像具备第一风格的画风；所述运算单元获取运算指令，以调用所述运算指令对所述帧图像进行画风转换处理，从而获得目标图像；并所述目标图像发送至所述DMA控制器；其中，所述目标图像具备第二风格的画风，所述第二风格有别于所述第一风格，所述运算指令为预先设置用于图像画风转换的指令；所述DMA控制器将所述目标图像存储至所述第二地址对应的存储空间中。

【技术特征摘要】
1.一种画风转换方法，其特征在于，应用于计算装置内，所述计算装置包括运算单元和直接内存访问DMA单元，所述DMA单元包括DMA控制器和寄存器模块；所述方法包括：所述DMA控制器从所述寄存器模块获取第一地址和第二地址；所述DMA控制器从所述第一地址对应的存储空间中获取待处理的帧图像，所述帧图像具备第一风格的画风；所述运算单元获取运算指令，以调用所述运算指令对所述帧图像进行画风转换处理，从而获得目标图像；并所述目标图像发送至所述DMA控制器；其中，所述目标图像具备第二风格的画风，所述第二风格有别于所述第一风格，所述运算指令为预先设置用于图像画风转换的指令；所述DMA控制器将所述目标图像存储至所述第二地址对应的存储空间中。2.根据权利要求1所述的方法，其特征在于，所述计算装置还包括寄存器单元以及控制器单元，所述帧图像包括待转帧图像以及参考帧图像，所述参考帧图像的画风为用于指示所述待转帧图像所需转换的第二风格；所述运算单元获取运算指令，以调用所述运算指令对所述帧图像进行画风转换处理，从而获得目标图像包括：所述控制器单元从所述寄存器单元中提取第一网络模型关联的第一运算指令以及第二网络模型关联的第二运算指令，并发送给所述运算单元；所述运算单元调用所述第一网络模型关联的第一运算指令，根据所述参考帧图像指示的画风对所述待转帧图像进行画风转换处理，从而获得预测帧图像；所述运算单元调用所述第二网络模型关联的第二运算指令，分别对所述预测帧图像、所述待转帧图像以及所述参考帧图像进行图像过滤以及条件判断；所述运算单元在满足预设的判断条件时，将所述预测帧图像作为所述目标图像；否则，更新所述第一网络模型，重新执行所述调用所述第一网络模型关联的第一运算指令，根据所述参考帧图像指示的画风对所述待转帧图像进行画风转换处理，从而获得预测帧图像的步骤；其中，所述判断条件分别与所述预测帧图像、所述待转帧图像以及所述参考帧图像均关联，所述第一网络模型以及所述第二网络模型为用户侧或终端侧预先设置的。3.根据权利要求2所述的方法，其特征在于，所述运算单元调用所述第二网络模型关联的第二运算指令，分别对所述预测帧图像、所述待转帧图像以及所述参考帧图像进行图像过滤以及条件判断包括：所述运算单元将所述预测帧图像、所述待转帧图像以及所述参考帧图像分别作为第二网络模型的输入，从而获得所述预测帧图像对应的中间图像数据Pij或中间图像数据Aij、所述待转帧图像对应的中间图像数据Fij以及所述参考帧图像对应的中间图像数据Gij；所述运算单元在中间图像数据Fij、Pij、Gij、Aij满足预设的判断条件时，则确定所述预测帧图像为所述目标图像；其中，所述第二网络模型包括：所述判断条件包括：L小于或等于预设阈值，L＝aLcontent+bLtexture，Z为所述预测帧图像，X为所述待转帧图像，Y为所述参考帧图像。4.根据权利要求2所述的方法，其特征在于，所述待转帧图像包括第i个和第i+1个待转帧图像，在获得与所述第i个和第i+1个待转帧图像各自对应的第i个目标图像和第i+1个目标图像后，所述方法还包括：所述控制器单元从所述寄存器单元中提取调用运动估计算法关联的第三运算指令，并发送给所述运算单元；所述运算单元调用运动估计算法关联的第三运算指令，根据所述第i个目标图像和第i+1个目标图像，获得第i+2个预测帧图像，其中，所述第i+2个预测帧图像与第i+2个待转帧图像对应；所述运算单元调用第二网络模型关联的第二运算指令，分别对所述第i+2个预测帧图像、第i+2个待转帧图像以及所述参考帧进行图像过滤以及条件判断；所述运算单元在满足预设的判断条件时，将所述第i+2个预测帧图像作为所述第i+2个目标图像；否则，重新执行所述调用第一网络模型关联的第一运算指令，根据所述参考帧图像指示的画风对所述第i+2待转帧图像进行画风转换处理，从而获得第i+2个预测帧图像的步骤。5.根据权利要求1-4中任一项所述的方法，其特征在于，所述运算单元包括通过互联模块互联的主运算模块以及多个从运算模块，所述运算指令为卷积运算指令时，所述调用所述运算指令对所述帧图像进行画风转换处理包括：所述从运算模块实现卷积神经网络算法中的输入数据和卷积核的卷积运算，所述输入数据为所述帧图像，所述卷积神经网络算法与所述卷积运算指令对应；所述互联模块实现所述主运算模块与所述从运算模块之前的数据传输，在神经网络全连接层正向运算开始之前，所述主运算模块通过互联模块将所述输入数据发送给每个从运算模块；所述多个从运算模块利用相同的所述输入数据与各自的卷积核，并行地计算出各自的输出标量；在所述多个从运算模块计算结束后，互联模块逐级将各个从运算模块的输出标量拼成中间向量，并返回给主运算模块；所述主运算模块将所有输入数据对应的中间向量拼接成中间结果，并将所述中间结果与偏置数据相加，然后执行激活操作。6.根据权利要求5所述的方法，其特征在于，所述主运算模块包括第一运算单元...

【专利技术属性】
技术研发人员：不公告发明人，
申请(专利权)人：上海寒武纪信息科技有限公司，
类型：发明
国别省市：上海,31