面向数字孪生智能分拣场景的三维结构光重构方法及装置制造方法及图纸

本申请公开了一种面向数字孪生智能分拣场景的三维结构光重构方法及装置，使用事件相机和激光投影仪搭建结构光系统，事件相机用于解决精度和高速深度传感问题，激光投影仪建模为一个“逆”事件相机，并视为一个立体系统。通过优化时空一致性能量函数解决信号延迟和抖动的问题，最大化投影仪和事件相机数据之间的时空一致性来估计深度，对事件抖动具有良好的鲁棒性，在更高的扫描速度下具有更好的性能。在更高的扫描速度下具有更好的性能。在更高的扫描速度下具有更好的性能。

【技术实现步骤摘要】
面向数字孪生智能分拣场景的三维结构光重构方法及装置


[0001]本申请涉及计算机仿真
，特别涉及一种面向数字孪生智能分拣场景的三维结构光重构方法及装置。

技术介绍

[0002]数字孪生是充分利用物理模型、传感器更新和运行历史等数据，集成多学科、多物理量、多尺度和多概率的仿真，在虚拟空间中完成映射，从而反映相应的实体装备的全生命周期过程。与传统仿真的相比，数字孪生充分运用物联网作为底层支撑技术，通过科学部署的大量传感器收集物理世界的各类数据，构成建立数字孪生模型的基础数据资源池，其数据量远超传统仿真所需数据；在应用层面将大数据作为核心应用技术，分析全域全量数据资源，并通过高性能协同计算、深度学习和人工智能等技术形成强大算力，实现对物理世界的精准信息表达和映射，其计算量和计算能力远超传统仿真。
[0003]三维重建是实现数字孪生的重要支撑技术，也是近年来计算机视觉，计算机图形学，虚拟现实等领域中的重要研究热点，其目的是依靠二维图像数据重构出物体的三维数据模型，并以三维立体信息展示。随着科学技术的不断进步，传统工业场景下的人工分拣逐渐被本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种面向数字孪生智能分拣场景的三维结构光重构方法，其特征在于，包括以下步骤：通过激光点投影仪和事件相机搭建结构光系统，其中，所述激光点投影仪以垂直光栅扫描模式扫描分拣物体，通过所述事件相机采集所述分拣物体的图像；利用优化时空一致性能量函数去除所述事件相机的噪音对所述图像质量的影响，并通过最大化所述激光投影仪和所述事件相机数据之间的时空一致性对所述图像进行深度估计，得到所述分拣物体在所述事件相机图像平面的深度图；利用所述深度图对所述分拣物体进行三维结构生成，以实现数字孪生智能分拣场景的仿真和控制。2.根据权利要求1所述的方法，其特征在于，所述利用优化时空一致性能量函数去除所述事件相机的噪音对所述图像质量的影响，并通过最大化所述激光投影仪和所述事件相机数据之间的时空一致性对所述图像进行深度估计，包括：建立所述激光投影仪和所述事件相机的时间戳之间的时间映射关系；将所述事件相机图像平面上的点进行变换，得到所述激光点投影仪图像平面上的点；设定所述激光投影仪和所述事件相机的时间一致性，利用沿极线搜索方法最大化所述激光投影仪和所述事件相机的局部邻域的一致性。3.根据权利要求2所述的方法，其特征在于，利用所述事件相机的深度Z表示所述分拣物体的表面，将所述事件相机图像平面上的点x
c
进行变换，得到所述激光点投影仪图像平面上的点x
p
为：x
p
＝π
p
(T
pc
π
c
‑1(x
c
,Z(x
c
)))其中，π
p
为投影仪框架上的透视投影，T
pc
为从事件相机到激光投影仪的刚体运动，π
c
‑1为事件相机的逆透视投影。4.根据权利要求1所述的方法，其特征在于，设定所述激光投影仪和所述事件相机的时间一致性为所述激光点投影仪图像平面上的时间映射τ
p
在所述事件相机图像平面上产生时间映射τ
c
：τ
c
(x
c
)＝τ
p
(x
p
)其中，x
c
为事件相机图像平面上的像素点，x
p
为激光点投影仪图像平面上的像素点。5.一种面向数字孪生智能分拣场景的三维结构光重构装置，其特征在于，包括：搭建模块，用于通过激光点投影仪和事件相机搭建结构光系统，其中，所述激光点投影仪以垂直光栅扫描模式扫描分拣物体，通过所述事件相...

【专利技术属性】
技术研发人员：黄双喜，杨思维，
申请(专利权)人：清华大学，
类型：发明
国别省市：