一种基于数字孪生的交叉路口安全引导方法、设备、介质技术

本发明专利技术涉及一种基于数字孪生的交叉路口安全引导方法、设备、介质，所述方法包括如下步骤：模型构建：3D软件中构建城市交叉路口系统及弱势群体模型；神经网络模型的部署和训练：3D软件中在摄像机视角下采集路口弱势群体图像信息获取训练集进行训练；数据采集与处理：3D软件中的摄像机采集图像数据。边缘计算主机处理图像。结果传输至虚拟环境服务器及实体交通设备控制端；控制交通设备：接收信号，控制红绿灯及音频设备，通过语音播报引导目标通过路口。本方法可以很好的解决交叉路口安全引导弱势群体这一难题。与传统方法相比，本方法成本低、可拓展性强、非佩戴式且适用范围广。非佩戴式且适用范围广。非佩戴式且适用范围广。

【技术实现步骤摘要】
一种基于数字孪生的交叉路口安全引导方法、设备、介质


[0001]本专利技术涉及智慧交通领域，尤其是涉及一种基于数字孪生的交叉路口安全引导方法、设备、介质。

技术介绍

[0002]当前以残障人士为代表的弱势群体数量众多，但服务于残障人士的科技产品却远不能满足需求。近年来，科技助力残障人士融入社会成为一种趋势，遗憾的是，大多数在此趋势下产生的辅助产品仍尚未成熟，未能得到大规模应用，这一领域仍有大量空白需要弥补。下面以盲人弱势群体为例，通过已存在的盲助产品的不足说明弱势群体辅助类科技产品的一些共同的不足。
[0003]以盲人弱势群体为例，传统盲助产品的研究大多为智能盲杖以及智能眼镜一类，其原理大多为通过多种传感器如激光雷达，超声波测距传感器等的组合使用以及利用互联网和GPS定位等来帮助视障人士实现避障，导航等功能。这类盲助产品大多功能单一，且实际使用效果并不好，导航功能在实际场景运用时定位总是存在偏差，容易误导视障人士，而传感器发挥的作用大多为辅助视障人士实现避障，确保视障人士行走时的安全性。近年来也有许多研究人员基于物联网时代不断为导盲杖添加功能，例如加入加速度传感器结合特定的算法实现防摔倒监报功能，加入超声波测距模块结合算法实现深坑检测等等，但实用效果并不理想。随着计算机视觉技术的兴起，导盲领域开始出现智能助视器为代表的运用计算机视觉技术辅助视障人士的盲助产品，此类产品大多运用计算机视觉和智能语音技术，将视觉信息转化为听觉信息，其原理大多为通过相机系统捕捉外部环境，对捕获到的图像进行检测识别等处理后将信息反馈给视障人士。此类产品可以很好的弥补以往产品的不足，与GPS结合使用也可以实现智能导航。近年也出现有专家尝试将自动驾驶领域的环境感知技术应用到智能助视器来进一步开发导盲产品，后续也出现研究人员在原先智能盲杖的基础上加入摄像头，经过训练后识别盲道和人行横道，从而实现精准引导视障人士的效果。但目前研究此类产品的企业并不多，导致这一技术尚未成熟，且对于许多复杂的实际场景如交叉路口，此类产品也没能很好的发挥优势。尽管有研究人员针对特定场景对产品做了改进，但仍难以满足实际使用需求。更重要的是，这些产品大多为穿戴式，这使得视障人士在使用时对身体增加了负担，且这也导致这些盲助产品对于便携性和重量有极高的要求，智能助视器一类的盲助产品也因此算力有限。另一方面，这些产品造价不低，大部分视障人士无法支付购买费用，这使得使用的群体也有限，没办法很好的服务于大部分视障人士。以盲助产品为代表，目前大多数服务于弱势群体的辅助性科技产品都有着便携性不高，成本昂贵，已有的相关辅助功能难以在城市交叉路口这一复杂环境下完成对使用者的引导。
[0004]针对交叉路口这一场景，智慧交通领域已经初有成效。近年来，随着包括数字孪生在内的多个领域技术的迅猛发展，智慧交通也逐渐兴起。目前主流的智慧交通发展方向为通过车流量实时调节交通信号灯的时长，从而有效解决交通拥堵问题。实际上，智慧交通领域也可以为解决交叉路口场景下弱势群体的安全引导问题提供方案。
[0005]传统的智慧交通在交叉路口主要关注车流量，其原理是利用路口雷达，摄像机等感知设备，融合高精度定位技术，高精度地图技术，边缘计算技术等获取路口车辆的信息，在此基础上生成车辆轨迹，过车身份，信号灯状态等多种精确实时的元数据，通过特定算法分析这些数据最终调节交通信号灯的时长，从而实现根据车流量自动调节交通信号灯。
[0006]综上，现有的交叉路口安全引导系统存在如下缺点：
[0007](1)大部分服务于弱势群体的辅助性科技产品便携性不高，成本昂贵，已有的相关辅助功能难以在城市交叉路口这一复杂环境下完成对使用者的引导。
[0008](2)缺乏一种结合数字孪生技术的路口引导系统，实现交叉路口这一场景下的安全引导。

技术实现思路

[0009]本专利技术的目的就是为了克服上述现有技术存在的缺陷而提供一种基于数字孪生的交叉路口安全引导方法、设备、介质，能够为广大的服务对象提供安全引导的同时，具有较强的可拓展性。
[0010]本专利技术的目的可以通过以下技术方案来实现：
[0011]本专利技术的一个方面，提供了一种基于数字孪生的交叉路口安全引导方法，包括如下步骤：
[0012]获取目标交叉路口的至少一个图像获取设备的图像信息，将所述图像信息转换为预设格式后输入预训练好的神经网络模型中，获取目标人员位置和预测路径并同步至预设的虚拟环境中；
[0013]根据所述目标人员位置、预测路径以及预设规则向实际环境以及所述虚拟环境中的信号灯和/或语音播报设备发送动作信号，完成对所述目标人员的安全引导；
[0014]间隔预设时间，根据所述虚拟环境获取新的训练集更新所述神经网络模型。
[0015]作为优选的技术方案，所述的虚拟环境的建立过程包括如下步骤：
[0016]获取所述目标交叉路口的环境信息并导入建模软件中，加入行人及车辆模型并建立车辆与信号灯间的逻辑，在所述建模软件中加入盲人模型以及与实际环境中的图像获取设备的位置和参数匹配的虚拟摄像头，建立所述虚拟环境。
[0017]作为优选的技术方案，所述的环境信息通过卫星和/或无人机获取。
[0018]作为优选的技术方案，所述的预训练好的神经网络模型的获取过程包括如下步骤：
[0019]获取训练样本集，其中，所述训练样本集中的每个样本均包括样本图片以及对应的标注目标人员位置后的图片；
[0020]基于所述训练样本集对所述神经网络模型进行训练，损失函数值达到预设收敛条件后，获取所述预训练好的神经网络模型模型，
[0021]其中，所述训练样本集的获取过程包括：
[0022]在所述虚拟环境中，通过预设在所述虚拟环境中的至少一个虚拟摄像头获取多个样本图片；
[0023]根据所述原始图像，通过对所述目标人员所在区域进行标注获取标注目标人员位置后的图片；
[0024]将所述样本图片和所述标注目标人员位置后的图片转换为预设格式，获取所述训练样本集。
[0025]作为优选的技术方案，所述的获取目标人员位置和预测路径包括如下步骤：
[0026]根据获取到的图像信息，确定斑马线的坐标，计算斑马线各条线的坐标函数，从而划分多个区域，建立从图像到实际环境映射关系；
[0027]获取所述目标人员的矩形框的坐标，计算出中心坐标；
[0028]根据所述中心坐标和坐标函数以及图像来源图像获取设备的机位，使用线性规划判断所述目标人员所处的区域和位置，根据所述目标人员所处的区域和位置，获取预测路径；
[0029]将目标人员位置和预测路径同步至所述虚拟环境中。
[0030]作为优选的技术方案，所述的预设规则包括：
[0031]判断图像信息中是否识别到所述目标人员，若未识别到所述目标人员，信号灯按照正常规律运行，若识别到所述目标人员且目标人员将进入路口，将所述实际环境和所述虚拟环境中所述目标人员行进方向的人行道信号灯变为绿灯，并将另一方向的行车道的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于数字孪生的交叉路口安全引导方法，其特征在于，包括如下步骤：获取目标交叉路口的至少一个图像获取设备的图像信息，将所述图像信息转换为预设格式后输入预训练好的神经网络模型中，获取目标人员位置和预测路径并同步至预设的虚拟环境中；根据所述目标人员位置、预测路径以及预设规则向实际环境以及所述虚拟环境中的信号灯和/或语音播报设备发送动作信号，完成对所述目标人员的安全引导；间隔预设时间，根据所述虚拟环境获取新的训练集更新所述神经网络模型。2.根据权利要求1所述的一种基于数字孪生的交叉路口安全引导方法，其特征在于，所述的虚拟环境的建立过程包括如下步骤：获取所述目标交叉路口的环境信息并导入建模软件中，加入行人及车辆模型并建立车辆与信号灯间的逻辑，在所述建模软件中加入盲人模型以及与实际环境中的图像获取设备的位置和参数匹配的虚拟摄像头，建立所述虚拟环境。3.根据权利要求2所述的一种基于数字孪生的交叉路口安全引导方法，其特征在于，所述的环境信息通过卫星和/或无人机获取。4.根据权利要求1所述的一种基于数字孪生的交叉路口安全引导方法，其特征在于，所述的预训练好的神经网络模型的获取过程包括如下步骤：获取训练样本集，其中，所述训练样本集中的每个样本均包括样本图片以及对应的标注目标人员位置后的图片；基于所述训练样本集对所述神经网络模型进行训练，损失函数值达到预设收敛条件后，获取所述预训练好的神经网络模型模型，其中，所述训练样本集的获取过程包括：在所述虚拟环境中，通过预设在所述虚拟环境中的至少一个虚拟摄像头获取多个样本图片；根据所述原始图像，通过对所述目标人员所在区域进行标注获取标注目标人员位置后的图片；将所述样本图片和所述标注目标人员位置后的图片转换为预设格式，获取所述训练样本集。5.根据权利要求1所述的一种基于数字孪生的交叉路口安全引导方法，其特征在于，所述的获取目标人员位置和预测路径包括如下步骤：根据获取到的图像信息，确定斑马线的坐...

【专利技术属性】
技术研发人员：陈汉夫，金品，杨秀华，黄彦淇，黄奇伟，冯辉，
申请(专利权)人：珠海复旦创新研究院，
类型：发明
国别省市：