一种基于视觉语义的孪生模型动态更新方法技术

本发明专利技术涉及一种基于视觉语义的孪生模型动态更新方法，包括：步骤S1：建立能够实现半自动更新的高保真结构模型库，模型为可能出现在真实环境中的物体的3D模型，并且对模型库定期完成半自动更新；步骤S2：实例分割，通过对于真实环境中视觉传感器得到的2D图像信息进行实例分割；步骤S3：将模型和实例建立联合嵌入空间，以训练好的模型进行匹配；步骤S4：物体坐标获取，通过视觉传感器得到的图像信息对真实环境中物体进行位姿估计，将坐标赋予步骤S2中各识别出的物体模型；步骤S5：判断物体位姿是否需要更新，并将更新后的模型与其即时位姿，在虚拟环境完成数字和现实世界的同步，本方法能够更好地完成真实环境与虚拟环境之间的一致性匹配。性匹配。性匹配。

【技术实现步骤摘要】
一种基于视觉语义的孪生模型动态更新方法


[0001]本专利技术涉及数字孪生模型领域，尤其是涉及一种基于视觉语义的孪生模型动态更新方法。

技术介绍

[0002]在当前的AI研究进程中，数字孪生成为了其发展的一个重要方向。数字孪生技术力求以数字形式尽可能逼真地复制真实的物理环境，所建造的数字空间与真实物理环境在应对相同事件发生时，具有相同的反应。如此的数字孪生模型可应用于导航、指令遵循、建图等机器人训练任务，并且与真实物理环境中机器人的训练相比，具有高效、低成本和数据更全面等优势。在此种研究的背景下，建立和维护所建立的数字空间中场景和模型成为了其关键点。
[0003]真实的物理环境会随着时间的变化发生变化，其中物体的增添和位姿变化会使得数字空间的场景与其不一致，因此需要对于其中的模型更新来保证与真实物理环境中物体的一致性。如果每次真实物理环境的改变都需要重新，则增加很多成本和复杂工序。

技术实现思路

[0004]本专利技术的目的在于解决上述研究中的需求和克服其中存在的问题而提供的一种基于视觉语义的孪生模型动态更新方法。
[0005]为达到上述目的，本专利技术提出一种基于视觉语义的孪生模型动态更新方法，包括以下步骤：
[0006]步骤S1：建立能够实现半自动更新的高保真结构模型库，模型为真实环境中的物体的3D模型，对模型库定期完成半自动更新；
[0007]步骤S2：实例分割，通过对于真实环境中视觉传感器得到的2D图像信息进行实例分割；
[0008]步骤S3：实例与模型匹配，将所述模型库中模型和S2中所得实例建立联合嵌入空间，以训练好的模型进行匹配；
[0009]步骤S4：物体坐标获取，通过视觉传感器得到的图像信息对真实环境中物体进行位姿估计，将坐标赋予步骤S2中各识别出的物体模型；
[0010]步骤S5：判断物体位姿是否需要更新，并将更新后的模型与其即时位姿，置入虚拟环境中，使其完成数字和现实世界的同步，完成更新。
[0011]进一步的，所述步骤S1具体包括：
[0012]步骤S11：建立高保真3D结构模型库，模型库中包括所建立数字孪生场景中可能出现的物体模型；
[0013]步骤S12：定期对步骤S11所述模型库进行半自动更新，引入真实场景中新出现的3D结构模型；
[0014]所述步骤S11中的物体模型为CAD模型的表现形式。
[0015]进一步的，所述步骤S2中的实例分割使用ShapeMask算法进行，该网络使用适合场景的数据集进行训练。
[0016]进一步的，所述步骤S2中2D图像信息由RGB
‑
D相机采集得到，获取RGB图像和深度图像。
[0017]进一步的，所述步骤S3中用于匹配的联合嵌入空间中涵盖模型库中模型渲染特征和步骤S2所得图像特征。
[0018]进一步的，所述匹配可由计算模型和图像特征的余弦距离来完成最相似匹配。
[0019]进一步的，所述步骤S4中的位姿估计包括平移向量和旋转向量的估计。
[0020]进一步的，所述步骤S4中的图像为一系列连续帧，利用真实场景中实物短时间内位置不变性，对位姿估计进行优化。
[0021]进一步的，所述步骤S5具体包括：
[0022]步骤S51：对于数字孪生场景中新出现的模型，按照其位姿估计置入该位置；
[0023]步骤S52：对于之前存在的模型，判断此次位姿和此前位姿改变超过某误差阈值，认为其发生改变，对该模型进行更新。
[0024]进一步的，所述新出现的模型指与上次进行该更新过程的数据进行比较，所述此前位姿为上次进行该更新过程的数据。
[0025]与现有技术相比，本专利技术的优势之处在于：本专利技术提出了一套基于视觉语义的场景中数字孪生模型更新的流程方法，保证数字空间和真实物理环境的一致性，降低了对数字空间重建的成本。
附图说明
[0026]图1为本专利技术实施例中基于视觉语义的孪生模型动态更新方法的流程示意图；
[0027]图2为本专利技术基于视觉语义的孪生模型动态更新方法的应用示意图。
具体实施方式
[0028]为使本专利技术的目的、技术方案和优点更加清楚，下面将对本专利技术的技术方案作进一步地说明。
[0029]一种基于视觉语义的孪生模型动态更新方法，如图1和图2所示，包括：
[0030]步骤S1：建立能够实现半自动更新的高保真结构模型库，模型为可能出现在真实环境中的物体的3D模型，并且对模型库定期完成半自动更新；
[0031]其中建立模型库具体包括：
[0032]步骤S11：建立高保真3D结构模型库，模型库中包括所建立数字孪生场景中可能出现的物体模型；
[0033]步骤S12：定期对步骤S11所述模型库进行半自动更新，引入真实场景中新出现的3D结构模型，物体模型应为CAD模型的表现形式。
[0034]步骤S2：实例分割，通过对于真实环境中视觉传感器得到的2D图像信息进行实例分割；
[0035]实例分割使用ShapeMask算法进行，该网络使用适合场景的数据集进行训练。
[0036]所要求的2D图像信息应由RGB
‑
D相机采集得到。
[0037]步骤S3：实例与模型匹配，将模型库中模型和S2中所得实例建立联合嵌入空间，以训练好的模型进行匹配；
[0038]用于匹配的联合嵌入空间中涵盖模型库中模型渲染特征和步骤S2所得图像特征；
[0039]匹配可由计算模型和图像特征的余弦距离来完成最相似匹配。
[0040]步骤S4：物体坐标获取，通过视觉传感器得到的图像信息对真实环境中物体进行位姿估计，将坐标赋予步骤S2中各识别出的物体模型；
[0041]位姿估计包括平移向量和旋转向量的估计。
[0042]图像为一系列连续帧，利用真实场景中实物短时间内位置不变性，对位姿估计进行优化。
[0043]步骤S5：判断物体位姿是否需要更新，并将更新后的模型与其即时位姿，置入虚拟环境中，使其完成数字和现实世界的同步，完成更新。
[0044]步骤S5具体包括：
[0045]步骤S51：对于数字孪生场景中新出现的模型，按照其位姿估计置入该位置。
[0046]步骤S52：对于之前存在的模型，判断此次位姿和此前位姿改变超过某误差阈值，认为其发生改变，对该模型进行更新。
[0047]新出现的模型指与上次进行该更新过程的数据进行比较，所述此前位姿也应为上次进行该更新过程的数据。
[0048]具体的，如图2所示，一种基于视觉语义的孪生模型动态更新方法，包括建立CAD模型库、ShapeMask实例分割、模型与实例匹配、实例位姿估计、进行场景模型更新等环节。
[0049]上述仅为本专利技术的优选实施例而已，并不对本专利技术起到任何限制作用。任何所属
的技术人员，在不脱离本专利技术的技术方案的范围内，对本专利技术揭露的技术方案和
技术实现思路
做任何形式的等同替换或修本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于视觉语义的孪生模型动态更新方法，其特征在于，包括以下步骤：步骤S1：建立能够实现半自动更新的高保真结构模型库，模型为真实环境中的物体的3D模型，对模型库定期完成半自动更新；步骤S2：实例分割，通过对于真实环境中视觉传感器得到的2D图像信息进行实例分割；步骤S3：实例与模型匹配，将所述模型库中模型和S2中所得实例建立联合嵌入空间，以训练好的模型进行匹配；步骤S4：物体坐标获取，通过视觉传感器得到的图像信息对真实环境中物体进行位姿估计，将坐标赋予步骤S2中各识别出的物体模型；步骤S5：判断物体位姿是否需要更新，并将更新后的模型与其即时位姿，置入虚拟环境中，使其完成数字和现实世界的同步，完成更新。2.根据权利要求1所述的基于视觉语义的孪生模型动态更新方法，其特征在于，所述步骤S1具体包括：步骤S11：建立高保真3D结构模型库，模型库中包括所建立数字孪生场景中可能出现的物体模型；步骤S12：定期对步骤S11所述模型库进行半自动更新，引入真实场景中新出现的3D结构模型；所述步骤S11中的物体模型为CAD模型的表现形式。3.根据权利要求1的述的基于视觉语义的孪生模型动态更新方法，其特征在于，所述步骤S2中的实例分割使用ShapeMask算法进行，该网络使用适合场景的数据集进行训练。4.根据权利要求1的述的基于视觉语义的孪生模型动态更新方法...

【专利技术属性】
技术研发人员：周艳敏，张世远，何斌，陆萍，蒋烁，王志鹏，
申请(专利权)人：同济大学，
类型：发明
国别省市：