【技术实现步骤摘要】
本专利技术涉及数字孪生和计算机视觉，尤其是涉及基于视频的虚实场景映射方法、系统及存储介质。
技术介绍
1、现有视频监测的状况，对于目标位置的识别只能在终端上以固定的角度进行位置的呈现。因此对于监测中的场景还缺少直观的三维场景感知和交互控制操作界面。随着视频监控在各个场景的应用普及度不断提高，应用人员依据监控获取的信息的精准率和速率的需求不断提高。根据现阶段国内数字孪生的发展，关键的部分就是虚实映射，是让物理世界向虚拟世界实现实体仿真的前提。同时不同的行业紧跟政策开展在数字孪生方面的数据映射的相关工作，工业生产领域使用了大量的传感器和人员进行收集厂地、工地内的各项环境指标和人员信息并进行识别处理，以此来提高园区、厂区的生产效率。
2、目前，已知的教室监控是采用基于yolov5算法的检测系统对学生的异常行为识别，还未进行视频的虚实映射和搭建孪生模型。
技术实现思路
1、本专利技术提供基于视频的虚实场景映射方法、系统及存储介质，能够实时(接近实时)将物理场景中的人和物识别并映射到对应的孪生场景中的对应位置。
2、为实现上述目的，本专利技术采用了如下技术方案：
3、基于视频的虚实场景映射方法，包括：
4、s1.获取监控视频；
5、s2.采用yolov5目标识别检测算法处理所述监控视频，得到物理场景中的人和物的位置信息以及类别信息，并传输到mysql数据库中；通过unity3d连接所述mysql数据库，使用tcp网络传输协议，实现数
6、s3.根据实景坐标和孪生场景坐标建立一一对应的函数关系，以将人和物体映射到对应的孪生场景中。
7、在一些实施例中，s2中，先将监控视频上传到流媒体服务器，通过yolov5将实时上传的监控视频进行识别处理，根据之前训练的模型以及设置的置信度的阈值，将图片中的检测框达到阈值的物体做进一步的识别处理，将识别到的数据载入mysql数据库中；在设置置信度的参数之前，将教室的图片进行测试，综合召回率、准确率、误检率、平均误检率指标，以根据不同的教室环境设置最优的置信度的值，达到最好的识别效果，而后结合映射拟合程度值再次进行调试，达到最好的映射效果。
8、在一些实施例中，s2中，将物理场景中的人和物的位置信息以及类别信息传输到mysql数据库时，首先获取检测目标到摄像头的距离，在yolov5中进行距离测量需要先获取目标物体的像素坐标及实际世界中该目标物体的尺寸信息，获取的方法为：
9、获取目标在图像上的像素坐标；
10、获取目标在实际世界中的尺寸：以人工或其他通用测量工具设备获取目标在现实世界中的尺寸，使用对象静止时的长度作为目标尺寸；
11、获取相机参数：包括相机的焦距、光心和水平视野。
12、通过三角形相似原理计算距离：假设目标现实尺寸已知，则利用目标像素坐标和相机参数可构建成三角形，从而计算目标到相机的距离，具体公式：
13、
14、其中d为检测距离，f代表检测目标的尺寸，w代表相机焦距，h为检测框的高度。
15、在一些实施例中，s3中，通过构建孪生系统坐标系和物理世界坐标系之间的一对一的对应关系，将检测距离与孪生系统中的前后距离作映射，映射公式为：
16、y＝kx+b；
17、其中y是孪生教室中的纵向距离，x是检测距离，k为斜率，b为常数；横向映射通过中心坐标的x坐标与孪生教室的横向距离进行一元一次映射，由于透视影响，横向映射相比于纵向映射则需通过中心坐标的y坐标来确定斜率k与常数b，其方式也是一元一次映射。
18、基于视频的虚实场景映射系统，用于实现上述的基于视频的虚实场景映射方法；
19、所述基于视频的虚实场景映射系统包括：
20、视频监测模块，用于通过摄像头传感器获取物理教室实时的画面信息；
21、数据传输模块，用于将视频监控的视频数据通过udp网络传输协议将视频传输到流媒体服务器中，并通过socket通信方式，实现客户端和服务器之间的双向数据传输；
22、数据处理及入库模块，用于将流媒体服务器中的视频数据，采用yolov5目标检测算法处理传入流媒体服务器的视频，得到教室中的人和物体的类别信息和位置数据，并将数据入库到mysql数据库中；
23、数据映射模块，用于将mysql数据库中的物体的位置数据映射到对应的孪生场景中。
24、一种计算机可读存储介质，所述存储介质存储计算机指令，当计算机读取所述计算机指令时，所述计算机执行上述的基于视频的虚实场景映射方法。
25、综上所述，本专利技术至少具有以下有益效果：
26、本专利技术能够实现实时(近似实时)将物理场景中的人或物体的信息向对应孪生场景的映射，进而推动场景数字化的实现，该映射方法是研究孪生场景的基座，为后续的研究诸如对孪生场景的分析和操作奠定基础。
本文档来自技高网...【技术保护点】
1.基于视频的虚实场景映射方法，其特征在于，包括：
2.根据权利要求1所述的基于视频的虚实场景映射方法，其特征在于，S2中，先将监控视频上传到流媒体服务器，通过YOLOV5将实时上传的监控视频进行识别处理，根据之前训练的模型以及设置的置信度的阈值，将图片中的检测框达到阈值的物体做进一步的识别处理，将识别到的数据载入MySQL数据库中；在设置置信度的参数之前，将教室的图片进行测试，综合召回率、准确率、误检率、平均误检率指标，以根据不同的教室环境设置最优的置信度的值，达到最好的识别效果，而后结合映射拟合程度值再次进行调试，达到最好的映射效果。
3.根据权利要求1所述的基于视频的虚实场景映射方法，其特征在于，S2中，将物理场景中的人和物的位置信息以及类别信息传输到MySQL数据库时，首先获取检测目标到摄像头的距离，在YOLOv5中进行距离测量需要先获取目标物体的像素坐标及实际世界中该目标物体的尺寸信息，获取的方法为：
4.根据权利要求1所述的基于视频的虚实场景映射方法，其特征在于，S3中，通过构建孪生系统坐标系和物理世界坐标系之间的一对一的对应关系，
5.基于视频的虚实场景映射系统，其特征在于，用于实现权利要求1至4中任一项所述的基于视频的虚实场景映射方法；
6.一种计算机可读存储介质，其特征在于，所述存储介质存储计算机指令，当计算机读取所述计算机指令时，所述计算机执行如权利要求1至4中任一项所述的基于视频的虚实场景映射方法。
...【技术特征摘要】
1.基于视频的虚实场景映射方法，其特征在于，包括：
2.根据权利要求1所述的基于视频的虚实场景映射方法，其特征在于，s2中，先将监控视频上传到流媒体服务器，通过yolov5将实时上传的监控视频进行识别处理，根据之前训练的模型以及设置的置信度的阈值，将图片中的检测框达到阈值的物体做进一步的识别处理，将识别到的数据载入mysql数据库中；在设置置信度的参数之前，将教室的图片进行测试，综合召回率、准确率、误检率、平均误检率指标，以根据不同的教室环境设置最优的置信度的值，达到最好的识别效果，而后结合映射拟合程度值再次进行调试，达到最好的映射效果。
3.根据权利要求1所述的基于视频的虚实场景映射方法，其特征在于，s2中，将物理场景中的人和物的位置信息以及...
【专利技术属性】
技术研发人员：罗森，罗德宁，曾佳宏，郑永秋，蒲官朕，刘欣冉，
申请(专利权)人：成都信息工程大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。