图像处理方法、装置和计算机可读存储介质制造方法及图纸

本公开涉及一种图像处理方法、装置和计算机可读存储介质，涉及计算机技术领域。本公开的方法包括：将待处理图像输入图像分割网络中的语义分割模型和细节提取模型；其中，细节提取模型用于获取待处理图像的细节特征；获得语义分割模型输出的待处理图像的第一特征张量，以及细节提取模型输出的待处理图像的第二特征张量；根据第一特征张量和第二特征张量，确定待处理图像中各个像素点所属的类别，从而确定待处理图像的分割结果；其中，图像分割网络还包括：辫形模块；语义分割模型的中间层和对应的细节提取模型的中间层通过辫形模块连接；辫形模块用于对语义分割模型的中间层输出的特征张量和细节提取模型的中间层输出的特征张量进行融合。

【技术实现步骤摘要】
图像处理方法、装置和计算机可读存储介质
本公开涉及计算机
，特别涉及一种图像处理方法、装置和计算机可读存储介质。
技术介绍
图像语义分割技术，是指给定一张图像，将图像中每个像素点分为预定义的语义类别(如人、道路、建筑、树木、动物等)，从而分割得到图像中语义类别相同的区域。传统图像语义分割方法包括非参数化方法和基于机器学习的方法。非参数化方法一般根据像素值的相似性，将临近的相似像素分为相同类别。基于机器学习的方法通过人工设计的算子或算法自动学习的特征表示图像中的像素或临近区域的视觉特征，并使用机器学习算法从大量数据中学习分类模型，从而将像素分类为预定义的类别。传统图像语义分割方法主要面向一般性图像中的粗粒度对象的分割，如行人、道路、车辆、树木、建筑等。
技术实现思路
专利技术人发现：传统图像语义分割方法对图像中的小尺度目标分割效果较差、对局部细节分割较为粗糙。例如，图像中人体解析技术是图像语义分割的一种特例，其分割目标是图像中人体的各个部位及着装配饰等区域(如人脸、头发、躯干、上肢、下肢、帽子、上装、裤子、裙子、鞋等)，其他区域分类为背景。应用现有的语义分割方法进行人体解析，容易导致相似类别间(如头发与帽子、T恤与外套、短裤与短裙等)极易混淆，无法实现准确的解析。本公开所要解决的一个技术问题是：提高对图像进行语义分割的准确性。根据本公开的一些实施例，提供的一种图像处理方法，包括：将待处理图像输入图像分割网络中的语义分割模型和细节提取模型；其中，细节提取模型用于获取待处理图像的细节特征；获得语义分割模型输出的待处理图像的第一特征张量，以及细节提取模型输出的待处理图像的第二特征张量；根据第一特征张量和第二特征张量，确定待处理图像中各个像素点所属的类别，从而确定待处理图像的分割结果；其中，图像分割网络还包括：辫形模块；语义分割模型的中间层和对应的细节提取模型的中间层通过辫形模块连接；辫形模块用于对语义分割模型的中间层输出的特征张量和细节提取模型的中间层输出的特征张量进行融合。在一些实施例中，辫形模块的数量为至少一个；在辫形模块的数量为多个的情况下，不同的辫形模块分别连接语义分割模型的不同卷积层和细节提取模型的不同卷积层。在一些实施例中，对语义分割模型的中间层输出的特征张量和细节提取模型的中间层输出的特征张量进行融合包括：针对每个辫形模块，将语义分割模型的一个卷积层输出的特征张量和细节提取模型的一个卷积层输出的特征张量输入辫形模块，分别得到辫形模块输出的语义分割模型对应的融合后的特征张量，以及辫形模块输出细节提取模型对应的融合后的特征张量；将语义分割模型对应的融合后的特征张量输入语义分割模型下一个卷积层；将细节提取模型对应的融合后的特征张量输入细节提取模型下一个卷积层。在一些实施例中，辫形模块包括第一融合子模块和第二融合子模块；对语义分割模型的中间层输出的特征张量和细节提取模型的中间层输出的特征张量进行融合包括：将语义分割模型的一个卷积层输出的特征张量和对应的细节提取模型的一个卷积层输出的特征张量，输入第一融合子模块，得到输出的语义分割模型对应的融合后的特征张量；将语义分割模型的卷积层输出的特征张量和细节提取模型的卷积层输出的特征张量，输入第二融合子模块，得到输出的细节提取模型对应的融合后的特征张量。在一些实施例中，在第一融合子模块中，根据输入的细节提取模型对应的特征张量的尺寸，调整语义分割模型对应的特征张量长和宽两个维度的尺寸，将输入的细节提取模型对应的特征张量和调整后的语义分割模型对应的特征张量进行特征级联，得到第一级联特征；根据不同通道的第一权重，对第一级联特征进行调整，得到语义分割模型对应的融合后的特征张量；在第二融合子模块中，根据输入的语义分割模型对应的特征张量的尺寸，调整细节提取模型对应的特征张量长和宽两个维度的尺寸，将输入的语义分割模型对应的特征张量和调整后的细节提取模型对应的特征张量进行特征级联，得到第二级联特征；根据不同通道的第二权重，对第二级联特征进行调整，得到细节提取模型对应的融合后的特征张量。在一些实施例中，根据不同通道的第一权重，对第一级联特征进行调整包括：将第一级联特征经过初步处理，将初步处理的第一级联特征中的每个通道对应的元素分别乘以对应的第一权重，再与初步处理的第一级联特征进行加权，得到语义分割模型对应的融合后的特征张量；根据不同通道的第二权重，对第二级联特征进行调整包括：将第二级联特征经过初步处理，将初步处理的第二级联特征中的每个通道对应的元素分别乘以对应的第二权重，再与初步处理的第二级联特征进行加权，得到细节提取模型对应的融合后的特征张量；其中，不同的通道对应不同的类别，初步处理包括卷积、批正则化。在一些实施例中，根据第一特征张量和第二特征张量，确定待处理图像中各个像素点所属的类别包括：将第一特征张量与第二特征张量进行加权，得到第三特征张量；将第三特征张量中的每个像素点对应的特征，在通道维度进行归一化运算；将每个像素点对应的特征中通道维度最大值对应的类别，作为该像素点所属的类别。在一些实施例中，将验证集中的图像输入初始训练的基础语义分割模型，得到输出的验证集中图像的分割结果；根据输出的验证集中图像的分割结果和准确分割结果之间的差异，确定混淆类别；利用包含混淆类别的样本图像构建训练样本集，对图像分割网络进行训练。在一些实施例中，根据输出的验证集中图像的分割结果和准确分割结果之间的差异，确定混淆类别包括：根据输出的验证集中图像的分割结果和准确分割结果之间的差异，确定混淆矩阵；其中，混淆矩阵中的每个元素表示对应的两种类别之间的混淆概率；根据混淆矩阵构建混淆图；其中，混淆图中两个节点之间的边表示该两个节点对应的类别之间的混淆概率大于混淆阈值，边连接的每个节点表示一种类别，与其他节点之间没有边的节点被舍弃；根据混淆图，确定混淆类别。在一些实施例中，利用包含混淆类别的样本图像构建训练样本集包括：选取一张包含混淆类别的样本图像，作为基准样本图像；将基准样本图像包含的混淆类别中的一种类别，作为基准类别；在多个样本图像中选取标注有基准类别的一张图像，作为正样本图像；在混淆图中，选取基准类别对应节点的邻节点，将该邻节点对应的类别，作为负样本类别；在多个样本图像中选取标注有负样本类别的一张图像，作为负样本图像；将基准样本图像，正样本图像和负样本图像，组成训练样本组，加入训练样本集。在一些实施例中，对图像分割网络进行训练包括：将训练样本集中的各个训练样本组输入图像分割网络，得到输出的各个训练样本组对应输出结果，输出结果包括训练样本组中每张图像的分割结果和每张图像的特征张量；根据各个训练样本组中每张图像的标注信息和对应分割结果，计算第一损失函数值；根据各个训练样本组中每张图像的特征张量，计算第二损失函数值；根据第一损失函数值和第二损失函数值，对图像分割网络的参数进行调整，直至达到预设收敛条件。在一些实施例中，根据各个训练样本组中每张图像的特征张量，计算第二损失函数值包括：针对每个训练样本组，根据对应的分割结果本文档来自技高网...

【技术保护点】
1.一种图像处理方法，包括：/n将待处理图像输入图像分割网络中的语义分割模型和细节提取模型；其中，所述细节提取模型用于获取所述待处理图像的细节特征；/n获得所述语义分割模型输出的所述待处理图像的第一特征张量，以及所述细节提取模型输出的所述待处理图像的第二特征张量；/n根据所述第一特征张量和第二特征张量，确定所述待处理图像中各个像素点所属的类别，从而确定所述待处理图像的分割结果；/n其中，所述图像分割网络还包括：辫形模块；所述语义分割模型的中间层和对应的所述细节提取模型的中间层通过辫形模块连接；所述辫形模块用于对所述语义分割模型的中间层输出的特征张量和所述细节提取模型的中间层输出的特征张量进行融合。/n

【技术特征摘要】
1.一种图像处理方法，包括：
将待处理图像输入图像分割网络中的语义分割模型和细节提取模型；其中，所述细节提取模型用于获取所述待处理图像的细节特征；
获得所述语义分割模型输出的所述待处理图像的第一特征张量，以及所述细节提取模型输出的所述待处理图像的第二特征张量；
根据所述第一特征张量和第二特征张量，确定所述待处理图像中各个像素点所属的类别，从而确定所述待处理图像的分割结果；
其中，所述图像分割网络还包括：辫形模块；所述语义分割模型的中间层和对应的所述细节提取模型的中间层通过辫形模块连接；所述辫形模块用于对所述语义分割模型的中间层输出的特征张量和所述细节提取模型的中间层输出的特征张量进行融合。


2.根据权利要求1所述的图像处理方法，其中，
所述辫形模块的数量为至少一个；在所述辫形模块的数量为多个的情况下，不同的辫形模块分别连接所述语义分割模型的不同卷积层和所述细节提取模型的不同卷积层。


3.根据权利要求2所述的图像处理方法，其中，
所述对所述语义分割模型的中间层输出的特征张量和所述细节提取模型的中间层输出的特征张量进行融合包括：
针对每个辫形模块，将所述语义分割模型的一个卷积层输出的特征张量和所述细节提取模型的一个卷积层输出的特征张量输入所述辫形模块，分别得到所述辫形模块输出的所述语义分割模型对应的融合后的特征张量，以及所述辫形模块输出所述细节提取模型对应的融合后的特征张量；
将所述语义分割模型对应的融合后的特征张量输入所述语义分割模型下一个卷积层；将所述细节提取模型对应的融合后的特征张量输入所述细节提取模型下一个卷积层。


4.根据权利要求2所述的图像处理方法，其中，
所述辫形模块包括第一融合子模块和第二融合子模块；
所述对所述语义分割模型的中间层输出的特征张量和所述细节提取模型的中间层输出的特征张量进行融合包括：
将所述语义分割模型的一个卷积层输出的特征张量和对应的所述细节提取模型的一个卷积层输出的特征张量，输入第一融合子模块，得到输出的语义分割模型对应的融合后的特征张量；
将所述语义分割模型的所述卷积层输出的特征张量和所述细节提取模型的所述卷积层输出的特征张量，输入第二融合子模块，得到输出的细节提取模型对应的融合后的特征张量。


5.根据权利要求4所述的图像处理方法，其中，
在第一融合子模块中，根据输入的细节提取模型对应的特征张量的尺寸，调整语义分割模型对应的特征张量长和宽两个维度的尺寸，将输入的细节提取模型对应的特征张量和调整后的语义分割模型对应的特征张量进行特征级联，得到第一级联特征；根据不同通道的第一权重，对第一级联特征进行调整，得到语义分割模型对应的融合后的特征张量；
在第二融合子模块中，根据输入的语义分割模型对应的特征张量的尺寸，调整细节提取模型对应的特征张量长和宽两个维度的尺寸，将输入的语义分割模型对应的特征张量和调整后的细节提取模型对应的特征张量进行特征级联，得到第二级联特征；根据不同通道的第二权重，对第二级联特征进行调整，得到细节提取模型对应的融合后的特征张量。


6.根据权利要求5所述的图像处理方法，其中，
所述根据不同通道的第一权重，对第一级联特征进行调整包括：
将第一级联特征经过初步处理，将初步处理的第一级联特征中的每个通道对应的元素分别乘以对应的第一权重，再与初步处理的第一级联特征进行加权，得到语义分割模型对应的融合后的特征张量；
所述根据不同通道的第二权重，对第二级联特征进行调整包括：
将第二级联特征经过初步处理，将初步处理的第二级联特征中的每个通道对应的元素分别乘以对应的第二权重，再与初步处理的第二级联特征进行加权，得到细节提取模型对应的融合后的特征张量；
其中，不同的通道对应不同的类别，所述初步处理包括卷积、批正则化。


7.根据权利要求1所述的图像处理方法，其中，
所述根据所述第一特征张量和第二特征张量，确定所述待处理图像中各个像素点所属的类别包括：
将所述第一特征张量与所述第二特征张量进行加权，得到第三特征张量；
将所述第三特征张量中的每个像素点对应的特征，在通...

【专利技术属性】
技术研发人员：刘鑫辰，刘武，梅涛，
申请(专利权)人：北京沃东天骏信息技术有限公司，北京京东世纪贸易有限公司，
类型：发明
国别省市：北京;11