基于姿势迁移的铁路行人入侵的图像序列生成方法及系统技术方案

本发明专利技术实施例提供了一种基于姿势迁移的铁路行人入侵的图像序列生成方法及系统，包括：获取非铁路场景中的行人姿态序列作为目标姿态序列；建立模型并训练，得到姿态迁移行人生成模型，姿态迁移行人生成模型包括生成器和判别器，判别器包括外观判别器和姿态判别器；将预定行人外观图像、目标姿态序列输入姿态迁移行人生成模型，得到数个目标行人图像；以及将目标行人图像合成到铁路场景图像中，生成铁路行人入侵图像，自动完成入侵行人图像的自动标注，并将包含目标动作序列的铁路行人入侵图像生成铁路场景行人入侵视频序列。像生成铁路场景行人入侵视频序列。像生成铁路场景行人入侵视频序列。

【技术实现步骤摘要】
基于姿势迁移的铁路行人入侵的图像序列生成方法及系统


[0001]本专利技术涉及铁路运营安全检测
，尤其涉及一种基于姿势迁移的铁路行人入侵的图像序列生成方法及系统。

技术介绍

[0002]随着铁路列车运行速度不断加快，异物入侵铁路限界是当前铁路安全事故频发的主要因素，对铁路运营安全造成了极大威胁。目前，行人非法入侵铁路仍是铁路交通事故造成人员伤亡的主要原因，行人非法上道严重威胁着铁路运输安全，也给国民经济及人民财产安全带来了巨大损失。
[0003]当前铁路限界异物检测手段包括接触式和非接触式两种。接触式检测方法中较为常见的有双电网监测技术、光纤光栅技术等。其中，防护网技术通过检测防护网是否有冲击来判断是否有异物，对于落石等掉落在防护网的突发异物检测准确，但是对于其他入侵异物不能判断。另外，防护网需要大范围安装且需要定期维护，不能满足铁路多样化异物入侵限界情况的检测。非接触式检测方法包括红外、毫米波雷达、激光和视频分析等。其中，基于视频分析的入侵目标识别检测方法能够得到相对直观的检测结果，因此被铁路安全体系广泛采用。
[0004]随着深度学习技术的发展，基于深度学习的人员入侵监测方法逐渐成熟。基于视频分析的入侵目标识别检测方法利用深度学习模型能判断入侵目标的类别，且判断准确性高，但是深度学习识别模型的准确率在很大程度上依赖于大量用于模型训练的入侵图像样本种类的丰富程度及样本数量的多少，样本数量越多就能获得更高的识别准确率。
[0005]由于高速铁路为封闭运营场景，高铁场景下的入侵目标图像样本非常难于获取，即使能够获取也仅是少数铁路场景下的入侵图像，入侵场景也不够丰富。同时，构建用于深度学习的标注数据集需要大量的人为图像标注工作，需要耗费大量的人力，同时也可能由于人为原因造成标注不准确。

技术实现思路

[0006]本专利技术的实施例提供了一种基于姿势迁移的铁路行人入侵的图像序列生成方法及系统，以克服现有技术的缺陷。
[0007]为了实现上述目的，本专利技术采取了如下技术方案。
[0008]一方面，本专利技术提供一种基于姿势迁移的铁路行人入侵的图像序列生成方法，包括：
[0009]获取非铁路场景中的行人姿态序列作为目标姿态序列；
[0010]建立模型并训练，得到姿态迁移行人生成模型，姿态迁移行人生成模型包括生成器和判别器，判别器包括外观判别器以及姿态判别器；
[0011]将预定行人外观图像、目标姿态序列输入姿态迁移行人生成模型，得到数个目标行人图像；以及
[0012]将目标行人图像合成到铁路场景图像中，生成铁路行人入侵图像。
[0013]可选地，方法还包括：
[0014]将数个铁路行人入侵图像按照目标姿态序列，生成铁路场景行人入侵视频序列。
[0015]可选地，方法还包括：
[0016]对铁路行人入侵图像进行自动标注，生成铁路场景行人入侵的标注图像。
[0017]可选地，在将目标行人图像合成到铁路场景图像后，记录铁路行人入侵图像中的行人的位置坐标和行人框的高度数据和宽度数据，得到铁路场景行人入侵的标注图像。
[0018]可选地，提取公共数据集的行人姿态数据，将对应的行人图像与提取得行人姿态数据作为数据集对模型进行训练，得到参数最优的姿态迁移行人生成模型。
[0019]可选地，训练方法包括：
[0020]提取训练集中的行人图像样本以及行人图像样本对应的行人姿态；
[0021]将提取出的行人图像样本以及行人图像样本对应的行人姿态，输入生成器，根据预先设定的目标姿态以及行人图像样本的外观，生成具有输入的行人图像外观和目标姿态的行人姿态迁移图像；
[0022]判别器对行人姿态迁移图像进行判别；以及
[0023]达到预定损失值时，得到参数最优的姿态迁移行人生成模型。
[0024]可选地，外观判别器用于判断生成的行人图像的外观是否与输入行人图像的行人外观一致，姿态判别器用于判断生成的行人姿态是否与目标姿态一致；
[0025]外观判别器的结构包括：
[0026]拼接层，用于对输入的行人姿态迁移图像和目标行人姿态、目标图像和目标行人姿态分别拼接后，得到拼接向量；
[0027]多个下采样模块，用于对拼接向量进行下采样，得到下采样后的特征向量；以及
[0028]多个残差模块，用于对下采样后的特征向量进行特征提取，得到判别特征，
[0029]其中，外观判别器基于判别特征完成判别。
[0030]第二方面，本专利技术还提供一种基于姿势迁移的铁路行人入侵的图像序列生成系统，包括：
[0031]姿态提取模块，用于获取非铁路场景中的行人姿态序列，得到目标姿态序列，并提取Deep Fashion公共数据集的行人姿态数据，将与行人姿态数据对应的行人图像生成数据集；
[0032]姿态迁移行人生成模块，用于建立模型，并通过行人姿态数据对应的行人图像生成的数据集对模型进行训练，得到参数最优的姿态迁移行人生成模型，并将预定行人外观图像、目标姿态序列输入姿态迁移行人生成模型，得到数个目标行人图像；以及
[0033]铁路场景入侵行人图像合成模块，用于将目标行人图像插入铁路场景图像中，生成铁路行人入侵图像。
[0034]可选地，系统还包括：
[0035]铁路场景入侵视频生成模块，用于将数个铁路场景入侵行人图像合成模块生成的铁路行人入侵图像按照目标姿态序列，生成铁路场景入侵视频序列。
[0036]可选地，系统还包括：
[0037]行人入侵图像自动标注模块，用于对铁路行人入侵图像进行自动标注，生成铁路
场景行人入侵的标注图像。
[0038]本专利技术有益效果：通过获取非铁路场景中的行人姿态序列，得到目标姿态序列，再建立模型并训练，得到姿态迁移行人生成模型后，将预定行人外观图像、目标姿态序列输入姿态迁移行人生成模型，得到数个目标行人图像，再将目标行人图像插入铁路场景图像中，生成铁路行人入侵图像，以获取行人外观和铁路场景丰富的铁路场景行人入侵图像序列，生成的铁路行人入侵图像数据中，行人外观纹理清晰、姿态鲜明，真实性较高，解决了铁路场景行人入侵图像稀少且难于获取的问题。
[0039]本专利技术附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本专利技术的实践了解到。
附图说明
[0040]为了更清楚地说明本专利技术实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0041]图1为本专利技术实施例提供的一种基于姿势迁移的铁路行人入侵的图像序列生成系统的结构框图；
[0042]图2为本专利技术实施例提供的基于姿势迁移的铁路行人入侵的图像序列生成方法的流程示意图；
[0043]图3为本专利技术实施例提供的生成器结构框图；...

【技术保护点】

【技术特征摘要】
1.一种基于姿势迁移的铁路行人入侵的图像序列生成方法，其特征在于，包括：获取非铁路场景中的行人姿态序列作为目标姿态序列；建立模型并训练，得到姿态迁移行人生成模型，所述姿态迁移行人生成模型包括生成器和判别器，所述判别器包括外观判别器以及姿态判别器；将预定行人外观图像、所述目标姿态序列输入所述姿态迁移行人生成模型，得到数个目标行人图像；以及将所述目标行人图像合成到铁路场景图像中，生成铁路行人入侵图像。2.根据权利要求1所述的方法，其特征在于，方法还包括：将数个所述铁路行人入侵图像按照所述目标姿态序列，生成铁路场景行人入侵视频序列。3.根据权利要求1所示的方法，其特征在于，方法还包括：对所述铁路行人入侵图像进行自动标注，生成铁路场景行人入侵的标注图像。4.根据权利要求3所述的方法，其特征在于，在将所述目标行人图像合成到所述铁路场景图像后，记录所述铁路行人入侵图像中的行人的位置坐标和行人框的高度数据和宽度数据，得到所述铁路场景行人入侵的所述标注图像。5.根据权利要求1所述的方法，其特征在于，提取公共数据集的行人姿态数据，将对应的行人图像与提取的所述行人姿态数据作为训练集对所述模型进行训练，得到参数最优的所述姿态迁移行人生成模型。6.根据权利要求5所述的方法，其特征在于，训练方法包括：提取所述训练集中的行人图像样本以及所述行人图像样本对应的行人姿态；将提取出的所述行人图像样本以及所述行人图像样本对应的行人姿态以及预先设定的目标姿态输入生成器，根据所述预先设定的目标姿态以及所述行人图像样本的外观，生成具有所述输入的行人图像外观和目标姿态的行人姿态迁移图像；所述判别器对所述行人姿态迁移图像进行判别；以及达到预定损失值时，得到参数最优...

【专利技术属性】
技术研发人员：郭保青，余祖俊，朱力强，阮涛，王尧，王耀东，
申请(专利权)人：北京交通大学，
类型：发明
国别省市：