一种面向车间数字孪生的增强现实系统及方法技术方案

本发明专利技术涉及一种面向车间数字孪生的增强现实系统及方法，包括物理车间、车间数字孪生系统，摄像头组、图像采集模块、车间三维模型标注模块、设备识别模块、数据查询及AR注册模块和AR显示模块，通过摄像头组采集车间视频图像，通过设备识别确定视频图像中包含的设备，并利用增强现实技术将数字孪生信息动态叠加在视频图像上设备图像区域或附近，从而实现车间设备信息的AR显示。本发明专利技术不需要建立物理车间系统的复杂三维模型，使用视频图像代替车间三维模型显示，画面显示更流畅；能够设置各设备信息的是否显示、显示界面类型、界面参数等，显示方式更灵活，操作更简便；能够判断鼠标所指设备标识，并显示该设备的相关信息。

An augmented reality system and method for workshop digital twin

【技术实现步骤摘要】
一种面向车间数字孪生的增强现实系统及方法
本专利技术涉及一种面向车间数字孪生的增强现实系统及方法，属于智能制造领域。
技术介绍
当前的智能工厂和智能车间数字孪生模型需要建立车间的复杂三维模型，然后将车间数字孪生系统生成的数字孪生信息显示在与车间设备对应的三维模型上，整个建模过程工作极大，而且，一旦车间结构发生变动，就需要改变其三维模型，因此后期维护工作量也大，渲染复杂模型时占用的计算资源较大。
技术实现思路
为了解决上述技术问题，本专利技术提供一种面向车间数字孪生的增强现实系统，其不需要建立物理车间系统的复杂三维模型，在车间视频图像上叠加显示设备信息，开发周期短且显示效果可灵活设置。本专利技术技术方案如下：一种面向车间数字孪生的增强现实系统，包括物理车间和车间数字孪生系统，所述车间数字孪生系统输出数字孪生信息，还包括如下模块：摄像头组：固定于物理车间内，采集物理车间当前状态的视频图像；图像采集模块：采集用户选择的摄像头所拍摄的车间视频图像；车间三维模型标注模块：构建物理车间的虚拟三维模型，其中，使用代理形状体构建物理车间中设备的虚拟三维模型，各所述代理形状体代表物理车间内设备的空间形状和位置，然后对各代理形状体进行标注，建立标注与设备标识的一一对应关系，生成车间三维标注模型；设备识别模块：根据用户设置，对需要显示设备信息的设备进行识别，具体地，从所述车间视频图像中获取当前帧图像，根据所述三维标注模型中各代理形状体与当前帧图像中设备之间的位置对应关系以及各代理形状体的标注，识别当前帧图像中需要识别的设备对应的设备标识以及该些设备在当前帧图像上的成像区域；数据查询及AR注册模块：根据设备标识查询车间数字孪生系统，获取到对应的数字孪生信息，同时，根据每个设备在当前帧图像上的成像区域，确定各设备的信息显示区域；AR显示模块：将设备的数字孪生信息叠加在当前帧图像上该设备的信息显示区域上，从而实现车间设备信息的AR显示。更优地，所述摄像头组包括安装在不同区域的多个摄像头，每个摄像头包括镜头、图像传感器、云台以及图像传感器姿态检测模块，所述云台用以控制图像传感器的方位，所述图像传感器姿态检测模块用于检测图像传感器的方向；所述图像采集模块还采集当前选择的摄像头的图像传感器的位置以及图像传感器的姿态；所述设备识别模块获取到所述图像传感器的位置和姿态，将该些信息发送至所述车间三维模型标注模块；所述车间三维模型标注模块根据物理车间坐标系和车间三维标注模型坐标系之间的转换关系设置当前选择的虚拟摄像头的虚拟图像传感器的位置和姿态，使车间三维标注模型中的虚拟成像模型与物理车间的成像模型一致，根据相机成像模型合成车间三维标注模型的虚拟合成图像；所述识别模块根据虚拟合成图像和当前帧图像的成像模型、成像位置以及成像姿态的一致性，确定虚拟合成图像中代理形状体与当前帧图像中设备的位置对应关系，根据用户设置的需要识别的设备，读取其在虚拟合成图像中对应代理形状体的标注，根据标注确定当前帧图像中该设备的设备标识和成像区域。更优地，所述物理车间坐标系和车间三维标注模型坐标系之间的转换关系为等同关系，具体地：所述车间三维模型标注模块还执行：统一所述车间三维标注模型坐标系和物理车间坐标系，使物理车间的设备坐标与车间三维标注模型中对应的代理形状体坐标一致，使物理车间的各摄像头的坐标与车间三维标注模型中对应的虚拟摄像头坐标一致。更优地，所述标注为颜色标注，不同设备对应的代理形状体渲染不同的颜色，建立颜色与设备标识之间的一一映射关系；根据虚拟合成图像中代理形状体与当前帧图像中设备的位置对应关系，读取像素的颜色值确定当前帧图像中该颜色值对应的设备的设备标识，根据该颜色值像素所在的区域范围确定当前帧图像中该设备的成像区域。更优地，所述系统还包括车间信息显示设置模块和AR信息显示界面库，所述AR显示界面库定义了多种类型的显示界面，所述车间信息显示设置模块用于设置每个设备参数和/或数字孪生信息的显示界面类型及该界面显示的信息或参数；所述数据查询及AR注册模块获取到设备的数字孪生信息以及确定设备的信息显示区域后，还根据所述车间信息显示设置模块中对该设备的设置，将显示界面类型、信息显示区域以及需要显示的信息或参数发送至AR显示模块；所述AR显示模块从AR信息显示界面库中获取对应类型的显示界面，将该显示界面叠加在当前帧图像中该设备的信息显示区域上，通过该显示界面显示设备的信息或参数。更优地，所述根据用户设置，对需要显示设备信息的设备进行识别，具体地：设置为显示所有设备信息，对当前帧图像中的所有设备进行识别；或，设置为显示鼠标所指设备信息，所述物体识别模块读取鼠标在当前帧图像上的位置，根据物理车间坐标系和车间三维标注模型坐标系之间的转换关系确定鼠标在所述三维标注模型中的位置，从而确定该位置的代理形状体对应的标注，根据标注识别当前帧图像中鼠标所指设备对应的设备标识以及其在当前帧图像上的成像区域。本专利技术还提供一种面向车间数字孪生的增强现实方法。一种面向车间数字孪生的增强现实方法，包括如下步骤：步骤1、构建物理车间的虚拟三维模型，其中，使用代理形状体构建物理车间中设备的虚拟三维模型，各所述代理形状体代表物理车间内设备的空间形状和位置，然后对各代理形状体进行标注，建立标注与设备标识的一一对应关系，生成车间三维标注模型；步骤2、在物理车间内固定多个摄像头，通过摄像头采集物理车间当前状态的视频图像；步骤3、采集用户选择的摄像头所拍摄的车间视频图像；步骤4、根据用户设置，对需要显示设备信息的设备进行识别：从所述车间视频图像中获取当前帧图像，根据所述三维标注模型中各代理形状体与当前帧图像中设备之间的位置对应关系以及各代理形状体的标注，识别当前帧图像中需要识别的设备对应的设备标识以及该些设备在当前帧图像上的成像区域；步骤5、根据设备标识查询车间数字孪生系统，获取到对应的数字孪生信息，同时，根据设备在当前帧图像上的成像区域确定该设备的信息显示区域；步骤6、将该设备的数字孪生信息叠加在当前帧图像上该设备的信息显示区域上，从而实现车间设备信息的AR显示。更优地，所述步骤2中，所述摄像头组包括安装在不同区域的多个摄像头，每个摄像头包括镜头、图像传感器、云台以及图像传感器姿态检测模块，所述云台用以控制图像传感器的方位，所述图像传感器姿态检测模块用于检测图像传感器的方向；所述步骤3中，还采集当前选择的摄像头的图像传感器的位置以及图像传感器的姿态；所述步骤4中，首先根据所述图像传感器的位置和姿态以及物理车间坐标系和车间三维标注模型坐标系之间的转换关系，设置当前选择的摄像头所对应的虚拟摄像头的虚拟图像传感器的位置和姿态，使车间三维标注模型中的虚拟成像模型与物理车间的成像模型一致，根据相机成像模型合成车间三维标注模型的虚拟合成图像；然后，根据虚拟合成图像和当前帧图像的成像模型、成像位置以及成像姿态的一致性，确定虚拟合成图像中代理形状体与当前帧图像中设备的位置对应关系，根据用户设置的需要识别的设备，读取其在虚拟合成图像中对应代理形状体的标注，根据标注确定当前帧图像中该设本文档来自技高网...

【技术保护点】
1.一种面向车间数字孪生的增强现实系统，包括物理车间和车间数字孪生系统，所述车间数字孪生系统输出数字孪生信息，其特征在于，还包括如下模块：/n摄像头组：固定于物理车间内，采集物理车间当前状态的视频图像；/n图像采集模块：采集用户选择的摄像头所拍摄的车间视频图像；/n车间三维模型标注模块：构建物理车间的虚拟三维模型，其中，使用代理形状体构建物理车间中设备的虚拟三维模型，各所述代理形状体代表物理车间内设备的空间形状和位置，然后对各代理形状体进行标注，建立标注与设备标识的一一对应关系，生成车间三维标注模型；/n设备识别模块：根据用户设置，对需要显示设备信息的设备进行识别，具体地，从所述车间视频图像中获取当前帧图像，根据所述三维标注模型中各代理形状体与当前帧图像中设备之间的位置对应关系以及各代理形状体的标注，识别当前帧图像中需要识别的设备所对应的设备标识以及该些设备在当前帧图像上的成像区域；/n数据查询及AR注册模块：根据设备标识查询车间数字孪生系统，获取到对应的数字孪生信息，同时，根据每个设备在当前帧图像上的成像区域，确定各设备的信息显示区域；/nAR显示模块：将设备的数字孪生信息叠加在当前帧图像上该设备的信息显示区域上，从而实现车间设备信息的AR显示。/n...

【技术特征摘要】
1.一种面向车间数字孪生的增强现实系统，包括物理车间和车间数字孪生系统，所述车间数字孪生系统输出数字孪生信息，其特征在于，还包括如下模块：
摄像头组：固定于物理车间内，采集物理车间当前状态的视频图像；
图像采集模块：采集用户选择的摄像头所拍摄的车间视频图像；
车间三维模型标注模块：构建物理车间的虚拟三维模型，其中，使用代理形状体构建物理车间中设备的虚拟三维模型，各所述代理形状体代表物理车间内设备的空间形状和位置，然后对各代理形状体进行标注，建立标注与设备标识的一一对应关系，生成车间三维标注模型；
设备识别模块：根据用户设置，对需要显示设备信息的设备进行识别，具体地，从所述车间视频图像中获取当前帧图像，根据所述三维标注模型中各代理形状体与当前帧图像中设备之间的位置对应关系以及各代理形状体的标注，识别当前帧图像中需要识别的设备所对应的设备标识以及该些设备在当前帧图像上的成像区域；
数据查询及AR注册模块：根据设备标识查询车间数字孪生系统，获取到对应的数字孪生信息，同时，根据每个设备在当前帧图像上的成像区域，确定各设备的信息显示区域；
AR显示模块：将设备的数字孪生信息叠加在当前帧图像上该设备的信息显示区域上，从而实现车间设备信息的AR显示。


2.根据权利要求1所述的一种面向车间数字孪生的增强现实系统，其特征在于：所述摄像头组包括安装在不同区域的多个摄像头，每个摄像头包括镜头、图像传感器、云台以及图像传感器姿态检测模块，所述云台用以控制图像传感器的方位，所述图像传感器姿态检测模块用于检测图像传感器的方向；
所述图像采集模块还采集当前选择的摄像头的图像传感器的位置以及图像传感器的姿态；
所述设备识别模块获取到所述图像传感器的位置和姿态，将该些信息发送至所述车间三维模型标注模块；
所述车间三维模型标注模块根据物理车间坐标系和车间三维标注模型坐标系之间的转换关系设置当前选择的虚拟摄像头的虚拟图像传感器的位置和姿态，使车间三维标注模型中的虚拟成像模型与物理车间的成像模型一致，根据相机成像模型合成车间三维标注模型的虚拟合成图像；
所述识别模块根据虚拟合成图像和当前帧图像的成像模型、成像位置以及成像姿态的一致性，确定虚拟合成图像中代理形状体与当前帧图像中设备的位置对应关系，根据用户设置的需要识别的设备，读取其在虚拟合成图像中对应代理形状体的标注，根据标注确定当前帧图像中该设备的设备标识和成像区域。


3.根据权利要求2所述的一种面向车间数字孪生的增强现实系统，其特征在于：所述物理车间坐标系和车间三维标注模型坐标系之间的转换关系为等同关系，具体地：所述车间三维模型标注模块还执行：统一所述车间三维标注模型坐标系和物理车间坐标系，使物理车间的设备坐标与车间三维标注模型中对应的代理形状体坐标一致，使物理车间的各摄像头的坐标与车间三维标注模型中对应的虚拟摄像头坐标一致。


4.根据权利要求1至3的任意一项所述的一种面向车间数字孪生的增强现实系统，其特征在于：所述标注为颜色标注，不同设备对应的代理形状体渲染不同的颜色，建立颜色与设备标识之间的一一映射关系；根据虚拟合成图像中代理形状体与当前帧图像中设备的位置对应关系，读取像素的颜色值确定当前帧图像中该颜色值对应的设备的设备标识，根据该颜色值像素所在的区域范围确定当前帧图像中该设备的成像区域。


5.根据权利要求1所述的一种面向车间数字孪生的增强现实系统，其特征在于：还包括车间信息显示设置模块和AR信息显示界面库，所述AR显示界面库定义了多种类型的显示界面，所述车间信息显示设置模块用于设置每个设备参数和/或数字孪生信息的显示界面类型及该界面显示的信息或参数；所述数据查询及AR注册模块获取到设备的数字孪生信息以及确定设备的信息显示区域后，还根据所述车间信息显示设置模块中对该设备的设置，将显示界面类型、信息显示区域以及需要显示的信息或参数发送至AR显示模块；所述AR显示模块从AR信息显示界面库中获取对应类型的显示界面，将该显示界面叠加在当前帧图像中该设备的信息显示区域上，通过该显示界面显示设备的信息或参数。


6.根据权利要求1所述的一种面向车间数字孪生的增强现实系统，其特征在于：所述根据用户设置，对需要显示设备信息的设备进行识别，具体地：设置为显示所有设备信息，对当前帧图像中的所有设备进行识别；
或，设置为...

【专利技术属性】
技术研发人员：陈成军，丁旭彤，李东年，洪军，李正浩，
申请(专利权)人：青岛理工大学，西安交通大学，中国科学院重庆绿色智能技术研究院，
类型：发明
国别省市：山东;37