本申请公开了一种用于数字孪生的目标可视化方法、装置及电子设备，该方法包括：获取目标区域图像和目标区域点云；利用预设特征提取模型分别对目标区域图像和目标区域点云进行特征提取，得到目标区域图像和目标区域点云的特征提取结果；根据目标区域图像和目标区域点云的特征提取结果，确定目标区域图像与目标区域点云的对应关系，结合目标区域图像的像素信息确定目标区域点云的颜色信息；利用目标区域点云的颜色信息渲染目标立体模型，以在数字孪生平台显示。本申请通过点云数据为目标可视化提供了轮廓信息，通过点云数据与图像数据之间的特征对应关系，提供了颜色信息，使得数字孪生平台能够展示更加丰富、更加真实的目标，提高了可视化效果。高了可视化效果。高了可视化效果。
【技术实现步骤摘要】
用于数字孪生的目标可视化方法、装置及电子设备
[0001]本申请涉及数字孪生
，尤其涉及一种用于数字孪生的目标可视化方法、装置及电子设备。
技术介绍
[0002]数字孪生是充分利用物理模型、传感器更新、运行历史等数据，集成多学科、多物理量、多尺度、多概率的仿真过程，在虚拟空间中完成映射，从而反映相对应的实体装备的全生命周期过程。数字孪生是一种超越现实的概念，可以被视为一个或多个重要的、彼此依赖的装备系统的数字映射系统。
[0003]在智慧交通等场景，数字孪生技术发挥了重要作用。目前应用于道路的数字孪生平台基本都是利用相机等多传感器对行人和车辆等目标进行检测，然后在数字孪生平台上以仿真的标准三维模型进行显示，所谓“标准三维模型”是指所有检测到的行人都是相同的大小，所有小汽车都是采用同一个小汽车模型显示，所有巴士也都是采用同一个巴士模型显示，因此目标之间的区分性较差，且与真实世界的目标差别较大，进而导致数字孪生平台的可视化效果并不好。
技术实现思路
[0004]本申请实施例提供了一种用于数字孪生的目标可视化方法、装置及电子设备，以使数字孪生平台对于目标的可视化显示更加丰富、更加真实。
[0005]本申请实施例采用下述技术方案：
[0006]第一方面，本申请实施例提供一种用于数字孪生的目标可视化方法，其中，所述方法包括：
[0007]获取目标区域图像和目标区域点云；
[0008]利用预设特征提取模型分别对所述目标区域图像和所述目标区域点云进行特征提取，得到目标区域图像的特征提取结果和目标区域点云的特征提取结果；
[0009]根据所述目标区域图像的特征提取结果和所述目标区域点云的特征提取结果，确定所述目标区域图像与所述目标区域点云的对应关系；
[0010]根据所述目标区域图像与所述目标区域点云的对应关系以及所述目标区域图像的像素信息，确定所述目标区域点云对应的目标颜色信息；
[0011]利用所述目标区域点云对应的目标颜色信息渲染目标立体模型，以通过数字孪生平台进行显示。
[0012]可选地，所述获取目标区域图像和目标区域点云包括：
[0013]获取相机采集的图像数据和激光雷达采集的点云数据；
[0014]对所述图像数据进行目标检测，得到所述图像数据的目标检测结果，以及对所述点云数据进行目标检测，得到所述点云数据的目标检测结果；
[0015]根据所述图像数据的目标检测结果确定所述目标区域图像，以及根据所述点云数
据的目标检测结果确定所述目标区域点云。
[0016]可选地，所述利用预设特征提取模型分别对所述目标区域图像和所述目标区域点云进行特征提取，得到目标区域图像的特征提取结果和目标区域点云的特征提取结果包括：
[0017]确定图像坐标系与激光雷达坐标系的变换关系；
[0018]基于所述图像坐标系与激光雷达坐标系的变换关系，将所述目标区域点云投影到图像坐标系下，得到目标区域点云的投影图像以及所述目标区域点云的投影图像与目标区域点云的对应关系；
[0019]利用所述预设特征提取模型分别对所述目标区域图像和所述目标区域点云的投影图像进行特征提取，得到目标区域图像的特征提取结果和目标区域点云的投影图像的特征提取结果。
[0020]可选地，所述目标区域点云的特征提取结果为目标区域点云的投影图像的特征提取结果，所述根据所述目标区域图像的特征提取结果和所述目标区域点云的特征提取结果，确定所述目标区域图像与所述目标区域点云的对应关系包括：
[0021]利用预设匹配算法，将所述目标区域图像的特征提取结果和所述目标区域点云的投影图像的特征提取结果进行匹配；
[0022]根据匹配结果确定所述目标区域图像与所述目标区域点云的投影图像的像素级对应关系；
[0023]根据所述目标区域图像与所述目标区域点云的投影图像的像素级对应关系，以及所述目标区域点云的投影图像与目标区域点云的对应关系，确定所述目标区域图像与所述目标区域点云的对应关系。
[0024]可选地，所述利用所述目标区域点云对应的目标颜色信息渲染目标立体模型包括：
[0025]根据所述目标区域点云构建目标立体模型；
[0026]利用所述目标区域点云对应的目标颜色信息，对所述目标立体模型进行渲染，得到渲染后的目标立体模型。
[0027]可选地，所述利用所述目标区域点云对应的目标颜色信息渲染目标立体模型包括：
[0028]利用所述目标区域点云对应的目标颜色信息对所述目标立体模型的可渲染区域进行渲染；
[0029]利用预设填充策略对所述目标立体模型的未渲染区域进行渲染。
[0030]可选地，所述预设特征提取模型通过如下方式训练得到：
[0031]获取包含目标的训练样本图像；
[0032]利用第一预设标注策略对所述训练样本图像进行标注，得到标注后的第一训练样本图像，以及利用第二预设标注策略对所述训练样本图像进行标注，得到标注后的第二训练样本图像；
[0033]利用所述标注后的第一训练样本图像训练预设神经网络的第一分支网络，以及利用所述标注后的第二训练样本图像训练预设神经网络的第二分支网络，得到训练后的预设神经网络，所述训练后的预设神经网络包括特征提取网络；
[0034]将所述特征提取网络作为所述预设特征提取模型。
[0035]第二方面，本申请实施例还提供一种用于数字孪生的目标可视化装置，其中，所述装置包括：
[0036]获取单元，用于获取目标区域图像和目标区域点云；
[0037]特征提取单元，用于利用预设特征提取模型分别对所述目标区域图像和所述目标区域点云进行特征提取，得到目标区域图像的特征提取结果和目标区域点云的特征提取结果；
[0038]第一确定单元，用于根据所述目标区域图像的特征提取结果和所述目标区域点云的特征提取结果，确定所述目标区域图像与所述目标区域点云的对应关系；
[0039]第二确定单元，用于根据所述目标区域图像与所述目标区域点云的对应关系以及所述目标区域图像的像素信息，确定所述目标区域点云对应的目标颜色信息；
[0040]渲染单元，用于利用所述目标区域点云对应的目标颜色信息渲染目标立体模型，以通过数字孪生平台进行显示。
[0041]第三方面，本申请实施例还提供一种电子设备，包括：
[0042]处理器；以及
[0043]被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行前述之任一所述方法。
[0044]第四方面，本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被包括多个应用程序的电子设备执行时，使得所述电子设备执行前述之任一所述方法。
[0045]本申请实施例采用的上述至少一个技术方案能够达到以下有益效果：本申请实施例的用于数字孪生的目标可视化方法，先获取目标区域图像和目标区域点本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种用于数字孪生的目标可视化方法，其中，所述方法包括：获取目标区域图像和目标区域点云；利用预设特征提取模型分别对所述目标区域图像和所述目标区域点云进行特征提取，得到目标区域图像的特征提取结果和目标区域点云的特征提取结果；根据所述目标区域图像的特征提取结果和所述目标区域点云的特征提取结果，确定所述目标区域图像与所述目标区域点云的对应关系；根据所述目标区域图像与所述目标区域点云的对应关系以及所述目标区域图像的像素信息，确定所述目标区域点云对应的目标颜色信息；利用所述目标区域点云对应的目标颜色信息渲染目标立体模型，以通过数字孪生平台进行显示。2.如权利要求1所述方法，其中，所述获取目标区域图像和目标区域点云包括：获取相机采集的图像数据和激光雷达采集的点云数据；对所述图像数据进行目标检测，得到所述图像数据的目标检测结果，以及对所述点云数据进行目标检测，得到所述点云数据的目标检测结果；根据所述图像数据的目标检测结果确定所述目标区域图像，以及根据所述点云数据的目标检测结果确定所述目标区域点云。3.如权利要求1所述方法，其中，所述利用预设特征提取模型分别对所述目标区域图像和所述目标区域点云进行特征提取，得到目标区域图像的特征提取结果和目标区域点云的特征提取结果包括：确定图像坐标系与激光雷达坐标系的变换关系；基于所述图像坐标系与激光雷达坐标系的变换关系，将所述目标区域点云投影到图像坐标系下，得到目标区域点云的投影图像以及所述目标区域点云的投影图像与目标区域点云的对应关系；利用所述预设特征提取模型分别对所述目标区域图像和所述目标区域点云的投影图像进行特征提取，得到目标区域图像的特征提取结果和目标区域点云的投影图像的特征提取结果。4.如权利要求3所述方法，其中，所述目标区域点云的特征提取结果为目标区域点云的投影图像的特征提取结果，所述根据所述目标区域图像的特征提取结果和所述目标区域点云的特征提取结果，确定所述目标区域图像与所述目标区域点云的对应关系包括：利用预设匹配算法，将所述目标区域图像的特征提取结果和所述目标区域点云的投影图像的特征提取结果进行匹配；根据匹配结果确定所述目标区域图像与所述目标区域点云的投影图像的像素级对应关系；根据所述目标区域图像与所述目标区域点云的投影图像的像素级对应关系，以及所述目标区域点云的投影图像与目标区域点云的对应关系，确定所述目标区域图像...
【专利技术属性】
技术研发人员：张上鑫，
申请(专利权)人：智道网联科技北京有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。