一种车间人员数字孪生体模型快速构建方法技术

本发明专利技术提供了一种车间人员数字孪生体模型快速构建方法，包括以下步骤：步骤1，在车间全局范围内构建全方位监控的多摄像头组成的视觉传感网络；步骤2，对每个摄像头进行离线标定，每个摄像头实时同步采集视频图像；步骤3，对图像利用深度卷积神经网络对其进行人员识别与检测；步骤4，合并多个摄像头的图像检测信息，消除重叠区域人员冗余；步骤5，将图像场景中人员位置的检测信息映射到实际车间现场，获取物理世界实时的人员位置信息；步骤6，将物理世界中的实时人员位置信息作为人员孪生数据构建人员的数字孪生体。

【技术实现步骤摘要】
一种车间人员数字孪生体模型快速构建方法
本专利技术涉及一种生产管控技术，特别是一种车间人员数字孪生体模型快速构建方法。
技术介绍
数字孪生技术作为实现制造的物理世界和信息世界之间的交互融合的核心技术，成为近期的最热门概念之一。它在Gartner预测的2017年十大战略技术中名列第五，这是除人工智能、机器学习、AR/VR、区块链之外的另外一个技术风口。数字孪生通过数字化的形式对某一物理实体过去和目前的行为或流程进行动态呈现。作为一种充分利用数据、智能并集成多学科的技术，数字孪生在实践智能制造理念和目标中提供更加实时、高效、智能的服务。车间是制造活动的执行基础，为了实现制造的物理世界和信息世界之间的交互融合，数字孪生车间能满足工业4.0等先进制造模式对智能生产、智能工厂的要求。目前在车间五要素(人机料法环)中，国内学者对车间设备(机)、产品(料)的数字孪生体已有不少研究，对人的数字孪生体缺乏系统性。而人在车间中是关键的一环，人的活动具有主观能动性和高度不确定性，对人在车间内的管理也非常重要。
技术实现思路
本专利技术的目的在于提供一种车间人员数字孪生体模型快速构建方法，该方法将车间装备数字孪生体、产品的数字孪生体等结合形成完整的、全方位的数字孪生车间，进而为实现制造物理世界和信息世界智能互联与交互融合提供一种有效参考。实现本专利技术目的的技术方案为，一种车间人员数字孪生体模型快速构建方法，包括以下步骤：步骤1，在车间全局范围内构建全方位监控的多摄像头组成的视觉传感网络；步骤2，对每个摄像头进行离线标定，每个摄像头实时同步采集视频图像；步骤3，对图像利用深度卷积神经网络对其进行人员识别与检测；步骤4，合并多个摄像头的图像检测信息，消除重叠区域人员冗余；步骤5，将图像场景中人员位置的检测信息映射到实际车间现场，获取物理世界实时的人员位置信息；步骤6，将物理世界中的实时人员位置信息作为人员孪生数据构建人员的数字孪生体。本专利技术与现有技术相比，具有以下优点：(1)本专利技术提出了一种可应用于车间人员管控的方法，通过构建视觉传感网络、训练人员检测模型，能够实现无需人工参与，即可管控车间人员，实时获取员工动态位置信息，如有异常立即采取相应管理措施，达到无人化监控。(2)通过本专利技术的方法可以实时获取车间员工动态位置信息，从而构建人员的数字孪生体，可与车间装备数字孪生体、产品的数字孪生体等结合形成完整的、全方位的数字孪生车间，进而为实现制造物理世界和信息世界智能互联与交互融合提供一种有效参考。下面结合说明书附图对本专利技术作进一步描述。附图说明图1为本专利技术实施具体执行流程图。图2为摄像头标定前后效果对比图。图3为同步性算法逻辑图。图4为图像人员检测流程图。图5为目标检测网络YOLO结构图。图6为多源数据融合示意图。图7为多区域人员定位数据采集图。具体实施方式本专利技术的一种车间人员数字孪生体模型快速构建的方法，包括以下步骤：步骤1，在车间全局范围内构建全方位监控的多摄像头组成的视觉传感网络，具体包括以下步骤：步骤1.1，调研各厂家工业摄像机型号，焦距、视角等光学参数。根据车间实际面积、生产环境确定合适的摄像机型号，并确定合理的焦距；步骤1.2，设计摄像头分布及理论排布尺寸图，同侧摄像头等间距布置，对侧摄像头并列布置，相邻两个摄像头之间重叠区域尽可能小，摄像头安装高度需要确保监控区域能被完全覆盖；步骤1.3，实际安装摄像头时，根据车间实际遮挡情况，微调理论的排布图。对于遮挡情况较严重的区域，配置多个摄像头。安装的摄像头须不干涉车间正常生产。安装摄像头时必须保证以下两条原则：1)安装摄像头的视野能够覆盖整个车间，保证没有死角；2)在摄像头安装调试完成之后，固定摄像头位姿，不可再有任何调整，必须保证摄像头的成像视角等恒定不变。步骤2，对每个摄像头进行离线标定，获取摄像头相关参数，减少图像成像畸变，具体包括以下步骤：步骤2.1，制作标定板：7×10黑白相间的正方形棋盘格，正方形边长可任意设置，一般在10mm到30mm之间；步骤2.2，获取标定图片：将标定板靠近摄像头，使它成像在摄像头的监控范围内，然后从不同角度拍摄20张左右的图片，保存；步骤2.3，摄像头标定：利用张正友单目视觉标定法对20张图片进行标定(opencv开源工具官方教程中已提供相关的例程)，从而计算摄像头的内参数矩阵和畸变系数；步骤2.4，矫正图像：利用摄像头的内参数矩阵和畸变系数调用opencv开源工具中的矫正函数，矫正新拍摄的图像，减小畸变，畸变矫正前后对比如图2所示。左图是没有经过畸变矫正的图像，右图是经过矫正的图像。从图中可以看到：左图中的窗台(虚线)紧贴墙面，在图像上显示的是一条扭曲的线，而现实中的窗台是一条直线。这正是由于摄像头的镜头畸变产生的。标定的其中一个目的就是尽量去除畸变，可以从右图中看到，经过矫正后，红虚线已经成功变成了一条直线。步骤3，利用摄像头驱动的API调试摄像头，确定合适的视频分辨率，进行实时同步视频图像采集，具体包括以下步骤：步骤3.1，根据车间实际情况，调试摄像头，确定合适的FPS；步骤3.2，同步采集所有摄像头的RTSP流获取视频流中的图像。同步采集方法如图3所示，详细介绍如下：同步性是采集视频流图像时必须满足的一个关键因素。车间内根据实际情况会安装N个摄像头，需要在某一时刻下开始对视频流进行图像采集。从N个摄像头可以获得N张图像。整个算法的输入是N个摄像头各自的RTSP协议地址、摄像头的内参数矩阵和畸变系数，输出是从每个摄像头截取的、经过畸变矫正的图片。步骤3.2.1，开启N+1个线程；其中的N个为截图线程ThreadCamrea[i]，其任务是对各自服务的摄像头进行截图并保存。ThreadCamrea[i]的状态由布尔数组(数组长度为N)isworking[i]决定：当isworking[i]＝true时，ThreadCamrea[i]开始截图；当isworking[i]＝false时，ThreadCamrea[i]停止截图。剩下的1个线程是控制线程ThreadControl，其任务是通过标志位lock控制isworking的值，进而起到控制ThreadCamrea[i]的作用。步骤3.2.2，ThreadCamrea[i]读取各自摄像头的视频画面frame[i]；初始状态下，isworking[i]和lock都默认为true，ThreadCamrea[i]对frame[i]进行畸变矫正并保存，如图3的第一行所示；步骤3.2.3，当ThreadCamrea[i]完成截图后，其对应的isworking[i]会被设置为false，ThreadCamrea[i]停止截图，如图3的第二、三行所示；步骤3.2.4、标志位lock实时地对isworking[i]布尔数组中的所有元素进行检查，当isworking[i]的元素值全都变成false的时候，表明N个视频流图像在当前时刻下采集成功，此时lock将被设置成false，如图3的第四行所示；步骤3.2.5，当lock被设置成false，ThreadControl把isworking[i]中的所有元素全部重新翻转为true，使得ThreadCamrea[i]同时开始截图，如图3的第五行所示；步骤3.2.本文档来自技高网...

【技术保护点】
1.一种车间人员数字孪生体模型快速构建方法，其特征在于，包括以下步骤：步骤1，在车间全局范围内构建全方位监控的多摄像头组成的视觉传感网络；步骤2，对每个摄像头进行离线标定，每个摄像头实时同步采集视频图像；步骤3，对图像利用深度卷积神经网络对其进行人员识别与检测；步骤4，合并多个摄像头的图像检测信息，消除重叠区域人员冗余；步骤5，将图像场景中人员位置的检测信息映射到实际车间现场，获取物理世界实时的人员位置信息；步骤6，将物理世界中的实时人员位置信息作为人员孪生数据构建人员的数字孪生体。

【技术特征摘要】
1.一种车间人员数字孪生体模型快速构建方法，其特征在于，包括以下步骤：步骤1，在车间全局范围内构建全方位监控的多摄像头组成的视觉传感网络；步骤2，对每个摄像头进行离线标定，每个摄像头实时同步采集视频图像；步骤3，对图像利用深度卷积神经网络对其进行人员识别与检测；步骤4，合并多个摄像头的图像检测信息，消除重叠区域人员冗余；步骤5，将图像场景中人员位置的检测信息映射到实际车间现场，获取物理世界实时的人员位置信息；步骤6，将物理世界中的实时人员位置信息作为人员孪生数据构建人员的数字孪生体。2.根据权利要求1所述的方法，其特征在于，步骤2中对每个摄像头进行离线标定的具体步骤为：步骤2.1.1，制作黑白棋盘格标定板；步骤2.1.2，将标定板放到摄像头成像区域内，从摄像头中获取待标定图片；步骤2.1.3，利用张正友标定法进行摄像头标定；步骤2.1.4，根据摄像头标定参数矫正图像。3.根据权利要求1所述的方法，其特征在于，步骤2中同步采集视频图像的具体方法为：步骤2.2.1，开启N+1个线程，其中N个为截图线程ThreadCamrea[i]，ThreadCamrea[i]的状态由布尔数组isworking[i]决定；当isworking[i]＝true时，ThreadCamrea[i]开始截图；当isworking[i]＝false时，ThreadCamrea[i]停止截图；剩下的1个线程是控制线程ThreadControl，其通过标志位lock控制isworking的值；步骤2.2.2，ThreadCamrea[i]读取各自摄像头的视频画面frame[i]，初始状态下，isworking[i]和lock都默认为true，ThreadCamrea[i]对frame[i]进行畸变矫正并保存；步骤2.2.3，当ThreadCamrea[i]完成截图后，其对应的isworking[i]会被设置为false，ThreadCamrea[i]停止截图；步...

【专利技术属性】
技术研发人员：刘庭煜，钟杰，刘洋，陆增，
申请(专利权)人：南京理工大学，
类型：发明
国别省市：江苏,32