一种基于DPN与Faster RCNN的火车票图像生成方法技术

本发明专利技术提供一种基于DPN与Faster RCNN的火车票图像生成方法，属于计算机图像检测领域，该方法实现过程包括：采集含有火车票的原始图像；标注出步骤S1所采集到原始图像中的火车票，并保存成xml文件作为标签使用；对所获得的原始图像与标签进行数据增强；搭建Faster RCNN深度学习网络模型，将增强后的数据集随机分为训练集、验证集与测试集进行训练；依据模型在验证集与测试集上的表现情况，对Faster RCNN进行调优，获得Faster RCNN在测试集上的表现最优模型；利用DPN网络结构，训练一个用于数据增强的模型，形成最佳的行动策略；使用已训练完毕的DPN网络生成火车票图像。本发明专利技术能解决传统人工检票方式效率低下，容易漏检误检的缺陷，为火车票验票的深度学习模型提供海量的数据支撑。

A train ticket image generation method based on DPN and fast RCNN

【技术实现步骤摘要】
一种基于DPN与FasterRCNN的火车票图像生成方法
本专利技术涉及深度学习理论中的计算机图像检测领域，人工智能算法中的效用理论，具体地说是一种基于DPN与FasterRCNN的火车票图像生成方法。
技术介绍
车票检验技术是各大交通枢纽最为重要的技术之一。火车站、汽车站、船坞、机场等关键交通枢纽均依靠车票检验技术保证车次人流的有序运行。现有车票均以纸质形式发售，以人工检验与标记的方式来实现验票。近年来，我国交通网络基础设施不断完善，尤其在高铁与动车的建设方面，取得了举世瞩目的成就。以“和谐号”、“复兴号”为排头兵，带领着我国经济高速发展。然而，在耀眼光芒的背后，高速铁路所带来的问题也日益凸显。载客量的提升极大地挑战了各城市交通枢纽的客流吞吐能力。每逢节假日，火车站、汽车站等地的旅客数量激增，工作人员往往需要增加人手来加快进站验票的速度，避免候车室过于拥挤。但这种人工检票的方式不仅耗费人力物力，且效率低下，而且容易漏检误检。近十年来出现了自动检票机、身份证验票等自动化验票功能，但依然无法摆脱纸质车票。纸质车票在未来很长的一段时间内依然会占据一席之地。若利用人工智能技术，对传统验票方式进行改造，可以大大加快检票速度，提升交通枢纽的客流量吞吐能力。车票检测问题大体可以分为两类。一类是从图像中抽取火车票，另外一类是从火车票中抽取有效信息。无论是哪一类问题，深度学习都是目前除了电子化车票之外，以软件为载体的最佳解决方案。但深度学习所需要的巨大的数据量是难以获取的。尤其是各类票据作为带有个人信息的隐私物品，对其进行大规模收集整理将会遇到极大的阻力。为了获得足够进行训练的数据量，利用计算机图形学相关知识进行图像生成是成本相对较低的解决方案。图像生成方法隶属于计算机图形学(ComputerGraphic，CG)的范畴。萨瑟兰在1963年完成的关于人机通信图形系统的博士论文，为计算机图形学的未来发展奠定了基础。后来计算机图形学从在显示屏上进行简单的点、线、面显示开始，历经长足发展，到目前的光线追踪技术，虚拟现实技术等等，产生了。随着近年来人工智能的兴起，计算机图形学也发起了“人工智能革命”。尤其以Generativeadversarialnetwork(GAN)为代表，与深度学习结合的图像生成方法可以快速生成非常真实的CG图像。
技术实现思路
本专利技术的技术任务是针对现有技术的不足，使用人工智能算法代替人工检票的方式，提出了一种基于DynamicPlanningNetwork(DPN)与FasterRegionConvolutionalNeuralNetwork(FasterRCNN)的火车票图像生成方法，为火车票验票的深度学习模型提供海量的数据支撑。本专利技术解决其技术问题所采用的技术方案是：一种基于DPN与FasterRCNN的火车票图像生成方法，该方法的实现过程包括：S1.采集含有火车票的原始图像，图像来源不限且鼓励收集不同来源的图像；S2.标注出步骤S1所采集到原始图像中的火车票，并保存成xml文件作为标签使用；S3.对步骤S1所获得的原始图像与步骤S2的标签进行数据增强，在图像增强的同时，其标签也需要做相应的变换，以准确标注出变换后图像中火车票的位置；S4.在Keras深度学习框架的基础下，搭建FasterRCNN深度学习网络模型，将增强后的数据集随机分为训练集、验证集与测试集，将训练集输送给FasterRCNN网络，进行训练；S5.依据模型在验证集与测试集上的表现情况，对FasterRCNN网络的参数、优化器的超参数以及训练批次、训练步长、训练轮次进行调优，获得FasterRCNN在测试集上的表现最优模型；S6.利用DPN网络结构，训练一个用于数据增强的模型，推动DPN不断逼近真实火车票的情景，形成最佳的行动策略；S7.使用已训练完毕的DPN网络生成火车票图像。经过训练的DPN网络会生成一套特有的图像增强策略。与利用计算机视觉库进行纯人工的数据增强相比，该策略所获得的增强图像更广泛、更平滑、更具有针对性。将训练数据集输入到DPN网络中运行多个轮次，DPN网络会根据不同的图像选择相应的最优增强方式。方案优选地，在步骤S6中DPN网络是关于真实环境的模拟，具体操作内容如下：以一张原始火车票作为“初始状态”，以各种图像变换方式作为“行为”；在“初始状态”的情况下DPN做出某种“行为”，以获取“奖励”，该奖励是由FasterRCNN对做出“行为”后图像中火车票位置预测值与实际标签的差值来表示的；重复该过程，鼓励DPN对各种各样的“行为”进行探索；变换结果难以被Faster-RCNN识别的“行为”将获得较少的奖励，甚至负奖励，变换结果具有较高识别率的“行为”将获得正奖励。方案优选地，在步骤S6中构建DPN网络，以trial-and-error的方式，推动DPN不断逼近真实火车票的情景，形成最佳的行动策略，实现奖励的最大化。以前面几步所训练的FasterRCNN为评判标准，对DPN网络进行。方案优选地，在步骤S1中通过相机拍摄、网络爬虫爬取等方式，获取含有火车票的原始图像。方案优选地，步骤S1中含有火车票的原始图像不小于200*200像素大小，图像中的火车票允许有一定程度的模糊、弯折、缺损，但不能到人眼难以辨别的地步。方案优选地，在步骤S2中使用Github上的开源工具labelImg，将步骤S1所采集到原始图像中的火车票标注出来，并以xml文件的形式保存，作为标签使用。方案优选地，在步骤S3中数据增强的方式包括但不限于图像的缩放、旋转、平移、灰度化、二值化、噪声混入、背景填充。方案优选地，在步骤S3中利用OpenCV计算机视觉库，编写脚本，对原始图像进行数据增强。方案优选地，步骤S4中训练集、验证集与测试集，三个数据集的比例为60％，20％，20％，步骤S4中数据集可用于训练其他的火车票识别模型，如基于CTPN、RNN的文字识别模型等。方案优选地，在步骤S4中将训练集以Mini-Batch的形式输送给FasterRCNN网络，进行训练。本专利技术的一种基于DPN与FasterRCNN的火车票图像生成方法，与现有技术相比所产生的有益效果是：本专利技术研发了一种融合RPN与FasterRCNN来生成火车票的方法，该产品可以为公司内部火车票检测、票务检测模型提供足够庞大的训练数据，能解决传统人工检票方式效率低下，容易漏检误检的缺陷，为火车票验票的深度学习模型提供海量的数据支撑。该产品除了产生票务数据之外，还可以稍作改动，对其他类型的图像进行数据增强，例如数字图像、汉字图像等等。附图说明为了更清楚地描述本专利技术一种基于DPN与FasterRCNN的火车票图像生成方法的工作原理，下面将附上简图作进一步说明。附图1是本专利技术的方法流程示意图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术本文档来自技高网...

【技术保护点】
1.一种基于DPN与Faster RCNN的火车票图像生成方法，其特征在于，该方法的实现过程包括：/nS1.采集含有火车票的原始图像；/nS2.标注出步骤S1所采集到原始图像中的火车票，并保存成xml文件作为标签使用；/nS3.对步骤S1所获得的原始图像与步骤S2的标签进行数据增强，在图像增强的同时，其标签也需要做相应的变换，以准确标注出变换后图像中火车票的位置；/nS4.在Keras深度学习框架的基础下，搭建Faster RCNN深度学习网络模型，将增强后的数据集随机分为训练集、验证集与测试集，将训练集输送给Faster RCNN网络，进行训练；/nS5.依据模型在验证集与测试集上的表现情况，对Faster RCNN网络的参数、优化器的超参数以及训练批次、训练步长、训练轮次进行调优，获得Faster RCNN在测试集上的表现最优模型；/nS6.利用DPN网络结构，训练一个用于数据增强的模型，推动DPN不断逼近真实火车票的情景，形成最佳的行动策略；/nS7.使用已训练完毕的DPN网络生成火车票图像。/n

【技术特征摘要】
1.一种基于DPN与FasterRCNN的火车票图像生成方法，其特征在于，该方法的实现过程包括：
S1.采集含有火车票的原始图像；
S2.标注出步骤S1所采集到原始图像中的火车票，并保存成xml文件作为标签使用；
S3.对步骤S1所获得的原始图像与步骤S2的标签进行数据增强，在图像增强的同时，其标签也需要做相应的变换，以准确标注出变换后图像中火车票的位置；
S4.在Keras深度学习框架的基础下，搭建FasterRCNN深度学习网络模型，将增强后的数据集随机分为训练集、验证集与测试集，将训练集输送给FasterRCNN网络，进行训练；
S5.依据模型在验证集与测试集上的表现情况，对FasterRCNN网络的参数、优化器的超参数以及训练批次、训练步长、训练轮次进行调优，获得FasterRCNN在测试集上的表现最优模型；
S6.利用DPN网络结构，训练一个用于数据增强的模型，推动DPN不断逼近真实火车票的情景，形成最佳的行动策略；
S7.使用已训练完毕的DPN网络生成火车票图像。


2.根据权利要求1所述的一种基于DPN与FasterRCNN的火车票图像生成方法，其特征在于，在步骤S6中DPN网络是关于真实环境的模拟，具体操作内容如下：
以一张原始火车票作为“初始状态”，以各种图像变换方式作为“行为”；
在“初始状态”的情况下DPN做出某种“行为”，以获取“奖励”，该奖励是由FasterRCNN对做出“行为”后图像中火车票位置预测值与实际标签的差值来表示的；
重复该过程，鼓励DPN对各种各样的“行为”进行探索；
变换结果难以被Faster-RCNN识别的“行为”将获得较少的奖励，甚至负奖励，变换结果具有较高识别率的“行为”将获得正奖励。


3.根据权利要求1或2所述的一种基于DPN与FasterRCNN的火车票图像生成方法，其特征在于，在步骤S6中构建DPN网络，以trial-and-error的方式，推动DP...

【专利技术属性】
技术研发人员：安程治，李锐，金长新，
申请(专利权)人：济南浪潮高新科技投资发展有限公司，
类型：发明
国别省市：山东;37