无砟轨道板扣件的特异性伤损图像合成方法及检测方法技术

本发明专利技术公开了一种无砟轨道板扣件的特异性伤损图像合成方法，包括获取真实无砟轨道板扣件图像数据；构建无砟轨道板三维BIM模型；针对模型进行仿真渲染处理，构建铁路场景的虚拟空间；通过虚拟空间，采集、输出虚拟扣件伤损图像数据；构建循环对抗生成网络，针对真实图像数据和虚拟伤损图像数据进行真实风格化迁移处理，实现图像数据合成，构建无砟轨道板扣件的特异性伤损图像合成数据集。本发明专利技术还公开了包括所述无砟轨道板扣件的特异性伤损图像合成方法的检测方法。本发明专利技术针对无砟轨道板扣件的异常状态完成检测处理；本发明专利技术方法解决了高质量扣件正负样本不均导致的深度学习方案检测精度低等问题；且图像样本多样性提升、图像正负样本比例合适。正负样本比例合适。正负样本比例合适。

【技术实现步骤摘要】
无砟轨道板扣件的特异性伤损图像合成方法及检测方法


[0001]本专利技术属于图像处理
，具体涉及一种无砟轨道板扣件的特异性伤损图像合成方法及检测方法。

技术介绍

[0002]21世纪以来，铁路建设运营里程以指数形式不断增长，行业领域的重点也从建设运营慢慢转向养护维修，扣件作为铁路轨道的关键基础部件，如果长期处于异常状态将会导致轨道整体结构失效，严重影响高速铁路列车运行的安全，针对扣件的异常状态及时、快速和精准检测，是目前亟需解决的问题，也是养护维修的重要决策依据。高速铁路无砟轨道板扣件存在数量庞大、种类繁多、服役环境复杂等问题，使得在天窗时间段进行的人工巡道难以高效、准确地识别出处于异常状态的扣件，同时漏检、错检的情况也难以避免。
[0003]随着信息时代的到来，计算机数字技术也已经开始大范围应用于铁路领域的自动化养护运维，基于计算机视觉的扣件异常状态检测已逐渐代替人工目视，成为轨道巡检的主流选择。现有的基于计算机视觉的扣件异常状态检测方法主要包括传统的图像处理技术、机器学习技术和最新的深度学习技术。
[0004]图像处理技术方法基于铁路部件之间几何信息进行扣件定位，利用启发式规则来抓取扣件的图像特征，最后通过简单的分类算法对扣件状态进行识别，基于图像处理技术的方法过分依赖人工设计、仅能处理浅层的、低水平的图像特征，并对不同形式巡检数据的复杂图像适应性差；
[0005]机器学习技术方法通过学习有限的、可感知的特征来训练向量机、朴素贝叶斯、人工神经网络等分类器来识别出不同类型的异常轨道扣件，基于机器学习技术的方法同样依赖先验知识和工程经验，不可避免的继承了图像处理技术方法的主观性和不确定性；
[0006]基于计算机视觉进行扣件异常状态的检测，除了依赖计算机技术外，对于扣件状态图像集也有一定的要求。其可靠性和适应性高度依赖大规模的高质量图像集的充分训练，这加重了数据的采集成本，尤其对于本研究领域，其特异性负样本相对稀缺，与获取到的非负样本对比集成，得到的是极度不均的数据集，这严重阻碍了计算机视觉技术方案在本领域的应用；
[0007]综上所述，当前针对无砟轨道板扣件的图像数据涵盖信息不够充分，数据缺少多样性。同时现有的检测技术方案检测精度较低，消耗大量的人工、时间等。

技术实现思路

[0008]本专利技术的目的之一在于提供一种图像样本多样性提升、图像正负样本比例合适的无砟轨道板扣件的特异性伤损图像合成方法。
[0009]本专利技术的目的之二在于提供一种包括了所述无砟轨道板扣件的特异性伤损图像合成方法的检测方法。
[0010]本专利技术提供的这种无砟轨道板扣件的特异性伤损图像合成方法，包括如下步骤：
[0011]S1.获取真实无砟轨道板扣件图像数据；
[0012]S2.构建无砟轨道板三维BIM模型；
[0013]S3.针对步骤S2构建的三维BIM模型进行仿真渲染处理，构建铁路场景的虚拟空间；
[0014]S4.通过步骤S3构建的铁路场景虚拟空间，采集、输出虚拟无砟轨道板扣件伤损图像数据；
[0015]S5.构建循环对抗生成网络，针对步骤S1获取的真实无砟轨道板扣件图像数据和步骤S4输出的虚拟无砟轨道板扣件伤损图像数据进行真实风格化迁移处理，实现图像数据合成，构建无砟轨道板扣件的特异性伤损图像合成数据集。
[0016]步骤S1所述的获取真实无砟轨道板扣件图像数据，具体包括：
[0017]进行轨道结构状态巡检，通过轨道巡检小车获取真实的无砟轨道板扣件图像数据。
[0018]步骤S2所述的构建无砟轨道板三维BIM模型，具体包括：
[0019]根据实际铁路场景施工阶段的三维设计图纸信息，构建无砟轨道板的正向三维BIM模型：
[0020](1)获取铁路场景三维正向设计图纸，并进行几何尺寸解析处理，解析各部件尺寸；所述部件包括带挡肩的轨道板、轨道和扣件系统，其中，扣件系统包括W1吊索、轨距挡板、轨下修整器、绝缘轨距块、绝缘套筒、螺旋钉、螺旋杆、平垫圈、铁垫块、铁下垫块和橡胶垫块；根据二维CAD图纸中提供的每个部件的尺寸和位置信息，从下到上组装完整的轨道扣件系统；将扣件系统中不同种类构件以共享单元的形式参与构建形成铁路场景共享单元库；
[0021](2)进行轨道部件建模拼装，参考对应的铁路构建组装图，并以铁路构件图为底图，按照共享单元库中不同部件对应名称进行查找，并通过旋转、平移调整位置，将扣件系统放置在肩部的一侧，通过阵列、镜像进行布局，在轨道板上形成扣件系统和轨道的对称布局，构建出完整的无砟轨道板虚拟三维BIM模型；
[0022](3)对构建的无砟轨道板虚拟三维BIM模型进行属性添加和材质赋予，完善铁道场景特征。
[0023]步骤S3所述的针对步骤S2构建的三维BIM模型进行仿真渲染处理，构建铁路场景的虚拟空间，具体包括：
[0024]将步骤S2构建的无砟轨道板3D模型导入到轻量化物理引擎中进行虚拟模拟：
[0025]1)将构建的铁路虚拟模型进行模型的格式转化和降点操作，得到datasmith数据传输格式的轻量化模型，导入到物理引擎的虚拟空间中进行仿真模拟；
[0026]2)使用Unreal Engine 5，UE5中的虚拟化几何体系统，通过Nanite技术将无砟轨道板虚拟三维BIM模型预处理为三角形簇，去掉冗余数据的同时标记光栅类别；
[0027]3)通过三角形光栅化和重建光通道实现轨道板可见性与材质的解耦，实现像素级的几何渲染；
[0028]4)利用全局光照和反射系统中的Lumen技术模拟真实光照，实现铁路场景中的光线追踪，形成轨道板结构在虚拟空间中的漫反射效果，解决轨道板的全局漫反射问题；
[0029]5)基于采集到的真实的无砟轨道板图像构造不同细节属性的纹理贴图，使得虚拟
的无砟轨道板模型更加逼真，在基础颜色上构造漫反射，使虚拟模型纹理的光照交互更加真实；通过凹凸贴图在不改变模型体顶点信息的同时展现无砟轨道板表面的粗糙程度；通过反射贴图赋予扣件系统、钢轨构件金属光泽；
[0030]6)采用UE5中的蓝图编辑器将实验室场景下捕获到的具有单调背景的真实的扣件状态实例化，通过得到的不同细节层次和图元参数的子类纹理构造不同材质域和网格域的扣件伤损，扣件伤损异常状态类型包括扣件断裂、扣件位移和扣件缺失；
[0031]上述步骤获取的纹理被随机地部署在虚拟无砟轨道板模型上，得到融合真实扣件状态特征和虚拟场景的数字孪生模型。
[0032]步骤S4所述的通过步骤S3构建的铁路场景虚拟空间，采集、输出虚拟无砟轨道板扣件伤损图像数据，具体包括：
[0033]基于真实巡检图像布局创建多视角相机运动路径，通过虚拟巡检实现虚拟铁路场景孪生空间中的虚拟扣件伤损图像数据采集并输出图像；在生成的数字孪生模型上，逐网格体对象内嵌阴影以模拟巡检遮挡，并通过布设相机控制点位校对虚拟摄像头的线路方向，输出模拟铁路巡检场景的虚拟巡检图像。
[0本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种无砟轨道板扣件的特异性伤损图像合成方法，包括如下步骤：S1.获取真实无砟轨道板扣件图像数据；S2.构建无砟轨道板三维BIM模型；S3.针对步骤S2构建的三维BIM模型进行仿真渲染处理，构建铁路场景的虚拟空间；S4.通过步骤S3构建的铁路场景虚拟空间，采集、输出虚拟无砟轨道板扣件伤损图像数据；S5.构建循环对抗生成网络，针对步骤S1获取的真实无砟轨道板扣件图像数据和步骤S4输出的虚拟无砟轨道板扣件伤损图像数据进行真实风格化迁移处理，实现图像数据合成，构建无砟轨道板扣件的特异性伤损图像合成数据集。2.根据权利要求1所述的无砟轨道板扣件的特异性伤损图像合成方法，其特征在于步骤S1所述的获取真实无砟轨道板扣件图像数据，具体包括：进行轨道结构状态巡检，通过轨道巡检小车获取真实的无砟轨道板扣件图像数据。3.根据权利要求2所述的无砟轨道板扣件的特异性伤损图像合成方法，其特征在于步骤S2所述的构建无砟轨道板三维BIM模型，具体包括：根据实际铁路场景施工阶段的三维设计图纸信息，构建无砟轨道板的正向三维BIM模型：(1)获取铁路场景三维正向设计图纸，并进行几何尺寸解析处理，解析各部件尺寸；所述部件包括带挡肩的轨道板、轨道和扣件系统，其中，扣件系统包括W1吊索、轨距挡板、轨下修整器、绝缘轨距块、绝缘套筒、螺旋钉、螺旋杆、平垫圈、铁垫块、铁下垫块和橡胶垫块；根据二维CAD图纸中提供的每个部件的尺寸和位置信息，从下到上组装完整的轨道扣件系统；将扣件系统中不同种类构件以共享单元的形式参与构建形成铁路场景共享单元库；(2)进行轨道部件建模拼装，参考对应的铁路构建组装图，并以铁路构件图为底图，按照共享单元库中不同部件对应名称进行查找，并通过旋转、平移调整位置，将扣件系统放置在肩部的一侧，通过阵列、镜像进行布局，在轨道板上形成扣件系统和轨道的对称布局，构建出完整的无砟轨道板虚拟三维BIM模型；(3)对构建的无砟轨道板虚拟三维BIM模型进行属性添加和材质赋予，完善铁道场景特征。4.根据权利要求3所述的无砟轨道板扣件的特异性伤损图像合成方法，其特征在于步骤S3所述的针对步骤S2构建的三维BIM模型进行仿真渲染处理，构建铁路场景的虚拟空间，具体包括：将步骤S2构建的无砟轨道板3D模型导入到轻量化物理引擎中进行虚拟模拟：1)将构建的铁路虚拟模型进行模型的格式转化和降点操作，得到datasmith数据传输格式的轻量化模型，导入到物理引擎的虚拟空间中进行仿真模拟；2)使用Unreal Engine 5，UE5中的虚拟化几何体系统，通过Nanite技术将无砟轨道板虚拟三维BIM模型预处理为三角形簇，去掉冗余数据的同时标记光栅类别；3)通过三角形光栅化和重建光通道实现轨道板可见性与材质的解耦，实现像素级的几何渲染；4)利用全局光照和反射系统中的Lumen技术模拟真实光照，实现铁路场景中的光线追踪，形成轨道板结构在虚拟空间中的漫反射效果，解决轨道板的全局漫反射问题；
5)基于采集到的真实的无砟轨道板图像构造不同细节属性的纹理贴图，使得虚拟的无砟轨道板模型更加逼真，在基础颜色上构造漫反射，使虚拟模型纹理的光照交互更加真实；通过凹凸贴图在不改变模型体顶点信息的同时展现无砟轨道板表面的粗糙程度；通过反射贴图赋予扣件系统、钢轨构件金属光泽；6)采用UE5中的蓝图编辑器将实验室场景下捕获到的具有单调背景的真实的扣件状态实例化，通过得到的不同细节层次和图元参数的子类纹理构造不同材质域和网格域的扣件伤损，扣件伤损异常状态类型包括扣件断裂、扣件位移和扣件缺失；上述步骤获取的纹理被随机地部署在虚拟无砟轨道板模型上，得到融合真实扣件状态特征和虚拟场景的数字孪生模型。5.根据权利要求4所述的无砟轨道板扣件的特异性伤损图像合成方法，其特征在于步骤S4所述的通过步骤S3构建的铁路场景虚拟空间，采集、输出虚拟无砟轨道板扣件伤损图像数据，具体包括：基于真实巡检图像布局创建多视角相机运动路径，通过虚拟巡检实现虚拟铁路场景孪生空间中的虚拟扣件伤损...

【专利技术属性】
技术研发人员：邱实，陈斌，王劲，胡文博，王卫东，王李昌，
申请(专利权)人：中南大学，
类型：发明
国别省市：