三维图像处理方法、装置、计算机设备和存储介质制造方法及图纸

本申请涉及一种三维图像处理方法、装置、计算机设备和存储介质。所述方法包括：将第一时刻的三维图像和第二时刻的三维图像进行卷积处理，得到卷积特征图像；将所述卷积特征图像进行反卷积处理，得到与所述卷积特征图像尺寸一致的反卷积特征图像；将所述卷积特征图像和所述反卷积特征图像进行差分运算，得到差分图像；将所述卷积特征图像、所述差分图像和所述反卷积特征图像连接；将连接后的卷积特征图像、差分图像和反卷积特征图像进行反卷积处理，得到第三时刻的三维图像。因此，在三维图像处理的过程中，通过跨层差分能够解决因梯度爆炸及梯度消失导致预测图像准确率低的问题。炸及梯度消失导致预测图像准确率低的问题。炸及梯度消失导致预测图像准确率低的问题。

【技术实现步骤摘要】
三维图像处理方法、装置、计算机设备和存储介质


[0001]本申请涉及计算机应用领域，特别是涉及一种三维图像处理方法、装置、计算机设备和存储介质。

技术介绍

[0002]随着三维神经网络技术的发展，三维视觉被广泛应用于辅助机器人完成任务，但在实际应用场景中常常会遇到遮挡、超出视野范围及光线变化的问题，为了解决因运动带来的这些问题，需要设计新的三维网络结构来学习未被干扰时目标的图像之间的时序关系，以预测目标被遮挡时的运动状态，因此，三维神经网络往往需要设计得比较深才能取得较好的学习及预测性能，但是深层的网络经常会遇到梯度爆炸及梯度消失问题。
[0003]在相关技术中，基于LSTM(Long Short
‑
Term Memory,长短期记忆网络)解决了二维神经网络中梯度爆炸及梯度消失问题。然而，基于三维卷积长短期记忆网络处理图像的过程中因存在梯度爆炸及梯度消失导致预测图像准确率低的问题。

技术实现思路

[0004]基于此，有必要针对上述技术问题，提供一种三维图像处理方法、装置、计算机设备和存储介质。
[0005]一种三维图像处理方法，该方法包括：
[0006]将第一时刻的三维图像和第二时刻的三维图像进行卷积处理，得到卷积特征图像；将该卷积特征图像进行反卷积处理，得到与该卷积特征图像尺寸一致的反卷积特征图像；将该卷积特征图像和该反卷积特征图像进行差分运算，得到差分图像；将该卷积特征图像、该差分图像和该反卷积特征图像连接；将连接后的卷积特征图像、差分图像和反卷积特征图像进行反卷积处理，得到第三时刻的三维图像。
[0007]在其中一个实施例中，该将第一时刻的三维图像和第二时刻的三维图像进行卷积处理，得到卷积特征图像，包括：
[0008]将张量尺寸一致的第一时刻的三维图像和第二时刻的三维图像进行卷积处理，得到卷积特征图像。
[0009]在其中一个实施例中，该方法还包括:
[0010]将第一时刻的三维图像和第二时刻的三维图像进行第一卷积处理，得到第一卷积特征图像；将该第一卷积特征图像进行第二卷积处理，得到第二卷积特征图像；将该第二卷积特征图像进行第一反卷积处理，得到第一反卷积特征图像；将该第二卷积特征图像和该第一反卷积特征图像进行差分运算，得到第一差分图像；将该第二卷积特征图像、该第一差分图像和该第一反卷积特征图像连接；将连接后的第二卷积特征图像、第一差分图像和第一反卷积特征图像进行第二反卷积处理，得到第二反卷积特征图像；将该第一卷积特征图像和该第二反卷积特征图像进行差分运算，得到第二差分图像；将该第一卷积特征图像、该第二差分图像和该第二反卷积特征图像连接；将连接后的第一卷积特征图像、第二差分图
像和第二反卷积特征图像进行第三反卷积处理，得到第三时刻的三维图像。
[0011]在其中一个实施例中，该方法还包括：
[0012]将第一时刻的三维图像和第二时刻的三维图像进行第一卷积处理，得到第一卷积特征图像；将该第一卷积特征图像进行第二卷积处理，得到第二卷积特征图像；将该第二卷积特征图像进行第三卷积处理，得到第三卷积特征图像；将该第三卷积特征图像进行第一反卷积处理，得到第一反卷积特征图像；将该第三卷积特征图像和该第一反卷积特征图像进行差分运算，得到第一差分图像；将该第三卷积特征图像、该第一差分图像和该第一反卷积特征图像连接；将连接后的第三卷积特征图像、第一差分图像和第一反卷积特征图像进行第二反卷积处理，得到第二反卷积特征图像；将该第二卷积特征图像和该第二反卷积特征图像进行差分运算，得到第二差分图像；将该第二卷积特征图像、该第二差分图像和该第二反卷积特征图像连接；将连接后的第二卷积特征图像、第二差分图像和第二反卷积特征图像进行第三反卷积处理，得到第三反卷积特征图像；将该第一卷积特征图像和该第三反卷积特征图像进行差分运算，得到第三差分图像；将该第一卷积特征图像、该第三差分图像和该第三反卷积特征图像连接；将连接后的第一卷积特征图像、第三差分图像和第三反卷积特征图像进行第四反卷积处理，得到第三时刻的三维图像。
[0013]在其中一个实施例中，该方法还包括：
[0014]对卷积特征图像或反卷积特征图像分别进行注意力权重处理，得到对应权值调整后的卷积特征图像或反卷积特征图像。
[0015]在其中一个实施例中，该方法应用于三维时序图像生成网络，该三维时序图像生成网络包括三维卷积长短期记忆网络层、三维反卷积长短期记忆网络层及连接层，还包括：
[0016]通过该三维卷积长短期记忆网络层将第一时刻的三维图像和第二时刻的三维图像进行卷积处理，得到卷积特征图像；通过该三维反卷积长短期记忆网络层将该卷积特征图像进行反卷积处理，得到与该卷积特征图像尺寸一致的反卷积特征图像；以及将该卷积特征图像和该反卷积特征图像进行差分运算，得到差分图像；通过该连接层将该卷积特征图像、该差分图像和该反卷积特征图像连接；通过该三维反卷积长短期记忆网络层将该连接后的卷积特征图像、该差分图像和该反卷积特征图像进行反卷积处理，得到第三时刻的三维图像。
[0017]在其中一个实施例中，该方法还包括：
[0018]将第一时刻的三维图像和第二时刻的三维图像输入到三维时序图像生成网络的第一卷积注意力层进行注意力权重处理，得到具有第一权重特征的三维图像；将该三维图像经过第一三维卷积长短期记忆层进行卷积处理，得到第一特征图像；将该第一特征图像经过第二卷积注意力层进行注意力权重处理，得到具有第二权重特征的第一特征图像；将该具有第二权重特征的第一特征图像经过第二三维卷积长短期记忆层进行卷积处理，得到第二特征图像；将该第二特征图像经过第三三维卷积长短期记忆层进行卷积处理，得到第三特征图像；将该第三特征图像经过第四三维卷积长短期记忆层进行卷积处理，得到第四特征图像；将该第四特征图像经过第一三维反卷积长短期记忆层进行反卷积处理，得到第五特征图像；将该第三特征图像和该第五特征图像进行差分运算，得到第一差分图像；通过第一连接层将该第三特征图像、该第一差分图像和该第五特征图像连接；将连接在一起的第三特征图像、第一差分图像和第五特征图像经过第二三维反卷积长短期记忆层进行反卷
积处理，得到第六特征图像；将该第二特征图像和该第六特征图像进行差分运算，得到第二差分图像；通过第二连接层将该第二特征图像、该第二差分图像和该第六特征图像连接；将连接在一起的第二特征图像、第二差分图像和第六特征图像经过第三卷积注意力层进行注意力权重处理，得到具有第三权重特征的第七特征图像；将该第七特征图像经过第三三维反卷积长短期记忆层进行反卷积处理，得到第八特征图像；将该第一特征图像和该第八特征图像进行差分运算，得到第三差分图像；通过第三连接层将该第一特征图像、该第三差分图像和该第八特征图像连接；将连接在一起的第一特征图像、第三差分图像和第八特征图像经过第四卷积注意力层进行注意力权重处理，得到具有第四权重特征的第九特征图像；将该第九特征图像经过第四三维反卷积长短期记忆层和第五三维反卷积长短期记忆层进行反卷积处理，得到第本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种三维图像处理方法，其特征在于，所述方法包括：将第一时刻的三维图像和第二时刻的三维图像进行卷积处理，得到卷积特征图像；将所述卷积特征图像进行反卷积处理，得到与所述卷积特征图像尺寸一致的反卷积特征图像；将所述卷积特征图像和所述反卷积特征图像进行差分运算，得到差分图像；将所述卷积特征图像、所述差分图像和所述反卷积特征图像连接；将连接后的卷积特征图像、差分图像和反卷积特征图像进行反卷积处理，得到第三时刻的三维图像。2.根据权利要求1所述的方法，其特征在于，所述将第一时刻的三维图像和第二时刻的三维图像进行卷积处理，得到卷积特征图像，包括：将张量尺寸一致的第一时刻的三维图像和第二时刻的三维图像进行卷积处理，得到卷积特征图像。3.根据权利要求1所述的方法，其特征在于，所述方法还包括：将第一时刻的三维图像和第二时刻的三维图像进行第一卷积处理，得到第一卷积特征图像；将所述第一卷积特征图像进行第二卷积处理，得到第二卷积特征图像；将所述第二卷积特征图像进行第一反卷积处理，得到第一反卷积特征图像；将所述第二卷积特征图像和所述第一反卷积特征图像进行差分运算，得到第一差分图像；将所述第二卷积特征图像、所述第一差分图像和所述第一反卷积特征图像连接；将连接后的第二卷积特征图像、第一差分图像和第一反卷积特征图像进行第二反卷积处理，得到第二反卷积特征图像；将所述第一卷积特征图像和所述第二反卷积特征图像进行差分运算，得到第二差分图像；将所述第一卷积特征图像、所述第二差分图像和所述第二反卷积特征图像连接；将连接后的第一卷积特征图像、第二差分图像和第二反卷积特征图像进行第三反卷积处理，得到第三时刻的三维图像。4.根据权利要求1所述的方法，其特征在于，所述方法还包括：将第一时刻的三维图像和第二时刻的三维图像进行第一卷积处理，得到第一卷积特征图像；将所述第一卷积特征图像进行第二卷积处理，得到第二卷积特征图像；将所述第二卷积特征图像进行第三卷积处理，得到第三卷积特征图像；将所述第三卷积特征图像进行第一反卷积处理，得到第一反卷积特征图像；将所述第三卷积特征图像和所述第一反卷积特征图像进行差分运算，得到第一差分图像；将所述第三卷积特征图像、所述第一差分图像和所述第一反卷积特征图像连接；将连接后的第三卷积特征图像、第一差分图像和第一反卷积特征图像进行第二反卷积处理，得到第二反卷积特征图像；将所述第二卷积特征图像和所述第二反卷积特征图像进行差分运算，得到第二差分图
像；将所述第二卷积特征图像、所述第二差分图像和所述第二反卷积特征图像连接；将连接后的第二卷积特征图像、第二差分图像和第二反卷积特征图像进行第三反卷积处理，得到第三反卷积特征图像；将所述第一卷积特征图像和所述第三反卷积特征图像进行差分运算，得到第三差分图像；将所述第一卷积特征图像、所述第三差分图像和所述第三反卷积特征图像连接；将连接后的第一卷积特征图像、第三差分图像和第三反卷积特征图像进行第四反卷积处理，得到第三时刻的三维图像。5.根据权利要求1所述的方法，其特征在于，所述方法还包括：对卷积特征图像或反卷积特征图像分别进行注意力权重处理，得到对应权值调整后的卷积特征图像或反卷积特征图像。6.根据权利要求1所述的方法，其特征在于，应用于三维时序图像生成网络，所述三维时序图像生成网络包括三维卷积长短期记忆网络层、三维反卷积长短期记忆网络层及连接层；所述方法还包括：通过所述三维卷积长短期记忆网络层将第一时刻的三维图像和第二时刻的三维图像进行卷积处理，得到卷...

【专利技术属性】
技术研发人员：邹俊成，王建城，尹威华，乔红，刘智勇，
申请(专利权)人：东莞中国科学院云计算产业技术创新与育成中心，
类型：发明
国别省市：