一种基于点代理增强和逐层上采样的猪体点云补全方法技术

本发明专利技术公开了一种基于点代理增强和逐层上采样的猪体点云补全方法，其特征在于：所述方法包括以下步骤：采集待补全的局部点云，利用建立好的点云补全网络模型将输入待补全的局部点云逐步恢复成高分辨率

【技术实现步骤摘要】
一种基于点代理增强和逐层上采样的猪体点云补全方法


[0001]本专利技术涉及三维点云补全
，更具体的，涉及一种基于点代理增强和逐层上采样的猪体点云补全方法
。

技术介绍

[0002]牲畜选种育种工作中，评估牲畜的体型和体况是被特别关注的内容
。
通过对牲畜的外貌和身体状况的评定，养殖户可以对牲畜的种用价值进行评估，以提高育种效益
。
目前牲畜的体型和体况数据基本是通过接触式的人工测量方式采集，像胸围
、
体长等体型和体况数据一般都是由人直接利用皮尺
、
测杖等工具进行手工测量
。
这种传统的人工测量方式不仅工作量大
、
效率低，而且容易产生误差，有时还会对牲畜产生应激，影响牲畜的生产质量
。
而采用逆向工程技术，实现牲畜表型三维重建与量算，自动化数字化的牲畜体型和体况指标的获取不仅满足了无接触
、
无应激的福利养殖需求，而且节约了大量的时间和人力成本，极大地提高了畜牧养殖和育种信息化及智能化水平
。
[0003]从单视角获取牲畜一侧局部深度数据并提取三维特征，这种方法无需同步采集和配准，使得采集系统简单
、
操作便捷，能够估算体长
、
体宽
、
体高等体尺数据，但如胸围
、
腹围等体尺数据无法获得，因此存在一定的局限性
。
多视角获取牲畜多角度点云数据，再经过配准融合
、r/>平滑去噪等数据预处理过程，能够得到牲畜的完整三维点云数据，并为下游任务所使用，其中就包括体型和体况评定，但该方法相较于单视角，其采集系统的复杂性更高，采集设备需要同步
、
正确定位等条件的支持，价格也相对较高
。
[0004]随着深度学习在点云补全上的研究和应用，将获取的局部点云恢复成完整点云成为了可能
。
基于监督学习的方法是将多视角采集的完整点云作为补全网络的学习数据，并将训练得到的网络模型应用于局部点云恢复成完整点云，而其中作为监督信号的完整点云对网络模型的训练和实际应用起到至关重要的作用
。
之前的研究者们多是在仿真模型数据集上训练补全网络，作为监督信号的完整点云可通过在
CAD
模型的三维网格表面上采样得到，因此得到的完整点云干净均匀，但现实世界采集得到的完整点云会由于复杂的采集环境
、
遮挡
、
反射等因素，出现密度不均匀
、
数据缺失，并且带有噪音的情况
。
针对仿真数据集和现实数据集之间的领域差异，有的研究者尝试在静物点云数据集
(
如植物等
)
上进行训练
。
目前还没有找到针对动物的基于深度学习的点云补全工作，相较于静物，动物完整点云的采集更加困难，且会由于视角限制
、
约束活动的栏杆
、
嘈杂的现场环境等出现大面积孔洞和显著的噪声，因此对网络模型的鲁棒性和稳定性要求更高
。
[0005]对于点云补全这项任务，基于特征点的方法展现出比以往基于全局特征的方法更好地修复细粒度形状的能力，同时多级由粗到细的点云生成策略也展示出生成分布均匀
、
可视化效果好的点云的能力，因此吸引了许多研究者投入这方面的研究
。

技术实现思路

[0006]本专利技术为了解决以上现有技术中存在的不足与缺陷的问题，提供了一种基于点代
理增强和逐层上采样的猪体点云补全方法
。
[0007]为实现上述本专利技术目的，采用的技术方案如下：
[0008]一种基于点代理增强和逐层上采样的猪体点云补全方法，所述方法包括以下步骤：
[0009]采集待补全的局部点云，利用建立好的点云补全网络模型将输入待补全的局部点云逐步恢复成高分辨率
、
细粒度和均匀的完整点云，完成点云补全任务；
[0010]所述的点云补全网络模型包括基于采样抽象和局部自注意力的特征提取模块
、
局部点云点代理生成模块
、
初始骨架点代理生成模块
、
邻域感知点代理增强
Transformer
模块
、
基于局部自注意力的逐层上采样模块
。
[0011]优选地，所述点云补全网络模型对输入的局部点云恢复得到完整点云的过程如下：
[0012]所述的特征提取模块，用于将输入待补全的局部点云采样出特征点并获取相应的特征向量，以及输出描述局部点云全局结构的全局特征；
[0013]所述的局部点云点代理生成模块，用于将特征提取器提取出的特征向量加上特征点的位置嵌入信息生成局部点云点代理；
[0014]所述的初始骨架点代理生成模块，用于将特征提取器输出的全局特征作为输入，结合特征点动态地生成骨架点并转换得到特征信息，同样加上骨架点的位置嵌入信息得到相应的初始骨架点代理；
[0015]所述的邻域感知点代理增强
Transformer
模块，用于增强骨架点代理的表示能力，其中包括骨架点代理全局自注意力
、
与局部点云点代理的交叉注意力以及邻域信息提取；
[0016]所述的逐层上采样模块，用于将骨架点及其对应的增强后的骨架点代理也可称为骨架点特征作为输入，进行逐层上采样，以逐步恢复出高分辨率
、
细粒度和均匀的完整点云
。
[0017]进一步地，所述的特征提取模块采样出局部点云的特征点并输出特征信息，具体实现如下：采用
PointNet++
采样抽象层和
PointTransformer
局部自注意力的组合来对局部点云应用层次化的采样抽象和邻域特征点自注意力
。
[0018]进一步地，所述的局部点云点代理生成模块将特征提取器提取出的特征向量加上特征点的位置嵌入信息生成局部点云点代理，其中位置嵌入具体如下：
[0019]对于特征点
c
i
＝
(x
i
，
y
i
，
z
i
)∈R3，利用三角函数将特征点
c
i
嵌入到一个
C
维的向量中，
PE(c
i
)
＝
concat(f
ix
，
f
iy
，
f
iz
)∈R
c
，其中
f
ix
，
f
iy
，
f
iz
分别表示
x
，
y
，
z
轴分量的嵌入，且
[0020][0021][0022]本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于点代理增强和逐层上采样的猪体点云补全方法，其特征在于：所述方法包括以下步骤：采集待补全的局部点云，利用建立好的点云补全网络模型将输入待补全的局部点云逐步恢复成高分辨率
、
细粒度和均匀的完整点云，完成点云补全任务；所述的点云补全网络模型包括基于采样抽象和局部自注意力的特征提取模块
、
局部点云点代理生成模块
、
初始骨架点代理生成模块
、
邻域感知点代理增强
Transformer
模块
、
基于局部自注意力的逐层上采样模块
。2.
根据权利要求1所述的基于点代理增强和逐层上采样的猪体点云补全方法，其特征在于：所述点云补全网络模型对输入的局部点云恢复得到完整点云的过程如下：所述的特征提取模块，用于将输入待补全的局部点云采样出特征点并获取相应的特征向量，以及输出描述局部点云全局结构的全局特征；所述的局部点云点代理生成模块，用于将特征提取器提取出的特征向量加上特征点的位置嵌入信息生成局部点云点代理；所述的初始骨架点代理生成模块，用于将特征提取器输出的全局特征作为输入，结合特征点动态地生成骨架点并转换得到特征信息，同样加上骨架点的位置嵌入信息得到相应的初始骨架点代理；所述的邻域感知点代理增强
Transformer
模块，用于增强骨架点代理的表示能力，其中包括骨架点代理全局自注意力
、
与局部点云点代理的交叉注意力以及邻域信息提取；所述的逐层上采样模块，用于将骨架点及其对应的增强后的骨架点代理也可称为骨架点特征作为输入，进行逐层上采样，以逐步恢复出高分辨率
、
细粒度和均匀的完整点云
。3.
根据权利要求2所述的基于点代理增强和逐层上采样的猪体点云补全方法，其特征在于：所述的特征提取模块采样出局部点云的特征点并输出特征信息，具体实现如下：采用
PointNet++
采样抽象层和
Point Transformer
局部自注意力的组合来对局部点云应用层次化的采样抽象和邻域特征点自注意力
。4.
根据权利要求2所述的基于点代理增强和逐层上采样的猪体点云补全方法，其特征在于：所述的局部点云点代理生成模块将特征提取器提取出的特征向量加上特征点的位置嵌入信息生成局部点云点代理，其中位置嵌入具体如下：对于特征点
c
i
＝
(x
i
,y
i
,z
i
)∈R3，利用三角函数将特征点
c
i
嵌入到一个
C
维的向量中，
PE(c
i
)
＝
concat(f
ix
,f
iy
,f
iz
)∈R
C
，其中
f
ix
,f
iy
,f
iz
分别表示
x,y,z
轴分量的嵌入，且轴分量的嵌入，且轴分量的嵌入，且
式中，
α
和
β
表示用于控制三角函数波形的可调参数
。5.
根据权利要求2所述的基于点代理增强和逐层上采样的猪体点云补全方法，其特征在于：所述的初始骨架点代理生成模块的具体工作原理如下：所述初始骨架点代理生成模块将特征提取器输出的全局特征投影成维度为
k
×3的特征，特征被转化为
k
个坐标
C
k
，用于表示预测的骨架点，并结合特征点，一起表示完整点云的骨架点
C
n
；采用多层感知机和
sigmoid
函数为各个骨架点
C
n
评分排序，选择排名前
m
的骨架点
C
m
；骨架点
C
m
经过与局部点云点代理生成模块相同的位置嵌入操作提取出位置信息，最后骨架点
C
m
拼接上全局特征再经由多层感知机特征转换得到特征信息，并加上位置信息得到初始骨架点代理
。6.
根据权利要求2所述的基于点代理增强和逐层上采样的猪体点云补全方法，其特征在于：所述的邻域感知点代理增强
Transformer
模块包括多个相同的层，每一层包括三个子层；其中，第一子层是多头自注意力机制，用于在骨架点代理之间进行交互；第二子层是多头交叉注意力机制，用于检索局部点云点代理中的信息；第三子层是逐位置全连接前馈网络；每个子层后面都使用残差连接和归一化层
。7.
根据权利要求6所述的基于点代理增强和逐层上采样的猪体点云补全方法，其特征在于：所述的邻域感知点代理增强
Transformer
模块，还包括利用边卷积的邻域感知模块，用于捕获点云中的局部邻域关系；最后将邻域...

【专利技术属性】
技术研发人员：尹令，罗泗港，蔡更元，杨杰，吴珍芳，张素敏，黄琼，叶健，
申请(专利权)人：华南农业大学，
类型：发明
国别省市：