一种人体实例分割方法、终端设备及存储介质技术

本发明专利技术涉及一种人体实例分割方法、终端设备及存储介质，该方法中包括：S1：基于彩色图片的颜色信息，通过不同的距离计算算法进行像素间距离的计算，并将所有距离计算结果串联后，通过卷积层转换为图片特征；S2：将图片划分为多个块后，根据每个块的块特征和像素位置，得到图片的特征表示向量E；S3：构建Transformer编码器解码器网络，通过Transformer编码器解码器网络将特征表示向量E转换为优化特征F

【技术实现步骤摘要】
一种人体实例分割方法、终端设备及存储介质


[0001]本专利技术涉及计算机视觉领域，尤其涉及一种人体实例分割方法、终端设备及存储介质。

技术介绍

[0002]目前实例分割技术主要分为两类：1)无候选目标框的算法(Proposal
‑
free methods)，这类算法的核心思想是为每个点学习一个可区分的特征，然后再通过诸如mean
‑
shift等聚类方法来将同一个实例的点聚集到一起。这类方法的问题在于最终聚类到一起的实例目标性比较差。此外，此类方法后处理步骤的时间成本通常较高；2)基于候选目标框的算法(Proposal
‑
based methods)，这类算法通常先生成大量的候选框，然后再进行第二阶段的优化。但是如果候选框的偏差比较大，此类方法就很难奏效。同时还需要类似于非极大值抑制等操作来对密集的候选框进行选择，缺点是运算量特别大，另外当有高度重叠的物体时，非极大值抑制会将其中一个的候选框认为成重复的候选区域然后删掉。这就意味着基于候选框的实例分割框架很难处理物体高度重叠的情况。
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种人体实例分割方法，其特征在于，包括以下步骤：S1：当接收到包含人体的彩色图片时，基于图片的颜色信息，通过不同的距离计算算法进行像素间距离的计算，并将所有距离计算结果串联后，通过卷积层转换为图片特征；S2：将图片划分为多个块，根据每个块对应的像素位置和图片特征，获取每个块对应的块特征，根据每个块对应的块特征和像素位置，得到图片的特征表示向量E；S3：构建Transformer编码器解码器网络，通过Transformer编码器解码器网络将特征表示向量E转换为优化特征F
d
；S4：将优化特征F
d
与特征表示向量E连接后得到F
c
；S5：通过注意力机制对F
c
中的重要特征进行聚合后，将聚合结果输入卷积神经网络中，得到人体实例分割结果。2.根据权利要求1所述的人体实例分割方法，其特征在于：距离计算算法包括欧式距离、切比雪夫距离和余弦距离。3.根据权利要求1所述的人体实例分割方法，其特征在于：特征表示向量E＝[f1+p1,f2+p2,...,f
N
+p
N
]，其中，f
N
表示第N个块的块特征，p
N
表示第N个块的像素位置，N表示块的个数。4.根据权利要求1所述的人体实例分割方法，其特征在于：步骤S3的实现过程如下：S301：将特征表示向量E输入Transformer编码块内，Transformer编码块内的多头自注意力机制输出x1后，通过残差连接将多头自注意力机制的输出与特征表示向量E连接后输出x2；对x2进行归一化处理后输出x3；将x3输入带有激活函数的全连接网络层后输出x4；将x4输入不带激活函数的全连接网...

【专利技术属性】
技术研发人员：王宗跃，陈文平，陈智鹏，
申请(专利权)人：集美大学，
类型：发明
国别省市：