一种基于深度学习的互联网问题地图筛查方法技术

本发明专利技术公开了一种基于深度学习的互联网问题地图筛查方法，主要包括收集样本库、清洗样本库获得数据集文件、通过深度卷积神经网络算法对数据集文件训练计算获得地图模型、导入地图模型文件对网站图片进行筛查识别判断、标记问题地图并导出。本发明专利技术能够辅助互联网地图监管部门，对海量网络图片进行快速检索，识别地图图片，并判断地图是否合格；营造良好的网络和地图市场环境，切实增强互联网和出版企业国家版图意识和地理信息安全意识，维护国家领土主权、安全和利益。

An Internet problem map screening method based on deep learning

【技术实现步骤摘要】
一种基于深度学习的互联网问题地图筛查方法
本专利技术属于图像识别
，具体涉及了一种基于深度学习的互联网问题地图筛查方法。
技术介绍
机器学习通过分析大量数据进行学习，寻找数据中的特征模式并进行预测，数据丰富度的提升和数据量的积累可以不断提高其预测准确性，且在应对复杂情况的数据具有较强的学习能力和包容性。其中，深度学习作为近几年机器学习领域中的一个重要研究内容，已在图像识别、智能搜索、语言处理、智能控制等领域发挥了巨大作用。“问题地图”在互联网中大量存在，特指无审图号标注、错把非国家区域按国家表示、错绘漏绘国界线的地图。规范登载和使用，查处违法违规行为是各级测绘地理信息主管部门职责所在，人工查阅互联网图片是目前开展“问题地图”专项整治的主要方式，工作量大、效率低下，目前尚无一种自动化识别问题地图的方法。
技术实现思路
本专利技术的目的在于针对现有技术中存在的不足，提供了一种基于深度学习的互联网问题地图筛查方法。该方法能够快速识别出不符合地图出版要求的“问题地图”，可批量处理识别网络图片，识别效率高。为了实现上述目的，本专利技术采用了以下技术方案：一种基于深度学习的互联网问题地图筛查方法，主要包括收集样本库、清洗样本库获得数据集文件、对数据集文件训练计算获得地图模型、导入地图模型文件对网站图片进行筛查识别判断、标记问题地图并导出；具体步骤如下：步骤一，收集大量图片样本，然后根据地图绘制法律法规（如《中华人民共和国测绘法》、《地图管理条例》等法律法规）的要求进行整理样本图片，将样本图片重新归为两大类并进行标记：合格的标准地图样本库、不合格的“问题地图”样本库；步骤二，对步骤一中获得的合格的标准地图样本库和不合格的“问题地图”样本库分别进行清洗，然后将清洗后的合格的标准地图样本库和不合格的“问题地图”样本库分别进行二进制编码压缩成两个数据集文件；所述的清洗步骤包括：1）删除大小小于10KB或图片宽高都小于50像素的图片；2）删除清晰度不高、模糊不清或者水印多的图片；3）将所有剩余图片进行灰度处理、线性拉伸、加入随机噪声；4）将经过步骤3）处理之后的图片进行格式修改，统一为jpg格式；步骤三，将步骤二制作好的数据集文件进行训练计算，即通过深度卷积神经网络算法（DCNN）对数据集文件中的图像矩阵进行卷积计算，得出对应的特征矩阵，通过重复多次卷积计算操作，提取出数据集文件中图像数据的特征信息；将提取出来的特征信息和标记（两个标记：合格地图、问题地图）进行对比计算结果精度，并将计算出来的误差值进行反向传播回去DCNN网络参数，在反复多次计算之后，如果结果精度不在提高，即为达到拟合；拟合之后将DCNN中所有的网络参数进行保存，保存得到的数据文件即为模型文件，包括标准地图模型和“问题地图”模型；步骤四，按照给定网址检索网站图片，导入步骤三中训练计算得到的模型文件，对该网站图片进行识别判断，具体为：1）将网站图片按照512*512像素规格进行裁切；2）将裁切后的网站图片依次导入resnet残差网络运算；3）提取并导出特征值；即resnet残差网络会根据输入图片表现抢眼的特征进行提取，获得表示该图片的特征值的二维矩阵数据；4）判断是否符合地图特征值；通过第3）步提取的特征值转换为一个大于0小于1的数值，如果这个数值大于0.5，那么可以判断这样图片是地图，小于0.5则表示这张图片不是地图；5）判断为否，则标记为非地图图片，运算结束；6）判断为是，则标记为地图图片，进行第7）步运算；7）将地图图片与问题地图特征对比；将第3）步中提取的二维矩阵数据与步骤三中训练好的“问题地图”模型进行求差计算，判断是否拟合“问题地图”模型；8）判断为是，则标记为问题地图，运算结束；步骤五，导出识别结果报表，对疑似“问题地图”的网站图片进行标记，标记后，整个互联网问题地图筛查流程结束。本专利技术进一步说明，在步骤三中，所述的特征信息指图片特有的信息，包括路网、水系、房屋、文字注记等信息。所述的网络参数包括卷积计算的权重的数值、计算的偏置的大小、学习率大小等关键参数信息。本专利技术进一步说明，在步骤四中，所述抢眼的特征指的是图片的轮廓线（即地图的主要线条）或者图片的主色调（如地图常用的蓝色、红色、绿色等）。本专利技术进一步说明，所述的“问题地图”模型内含有将“中国地图上没有海南”、“中国版图上没有海域”图像特征经过矩阵计算后获得的二维矩阵数据。本专利技术进一步说明，在步骤一中，所述的图片样本包括来自互联网或者摄像获得的合格地图图片和“问题地图”图片。在本专利技术中，标准地图模型用于判断输入的图片是否为地图图片，“问题地图”模型运用于下一步，在判断为是地图图片后，通过特征值排查地图图片存在的问题，判定是否为问题地图。本专利技术的优点：1.本专利技术能够辅助互联网地图监管部门，对海量网络图片进行快速检索，识别地图图片，并判断地图是否合格；营造良好的网络和地图市场环境，切实增强互联网和出版企业国家版图意识和地理信息安全意识，维护国家领土主权、安全和利益。2.本专利技术充分利用图像卷积的优势，降低了光照变化、颜色褪色、运动造成的模糊、复杂的背景、部分遮挡等因素对图像识别的影响，提高了抗干扰能力，识别准确率高，误识别率低。附图说明图1是本专利技术一实施例应用中实现图片识别的流程图。具体实施方式下面结合附图对本专利技术进一步说明。实施例1：一种基于深度学习的互联网问题地图筛查方法，具体步骤如下：步骤一，收集大量图片样本，然后根据地图绘制法律法规（如《中华人民共和国测绘法》、《地图管理条例》等法律法规）的要求进行整理样本图片，将样本图片重新归为两大类并进行标记：合格的标准地图样本库、不合格的“问题地图”样本库；步骤二，对步骤一中获得的合格的标准地图样本库和不合格的“问题地图”样本库分别进行清洗，然后将清洗后的合格的标准地图样本库和不合格的“问题地图”样本库分别进行二进制编码压缩成两个数据集文件；所述的清洗步骤包括：1）删除大小小于10KB或图片宽高都小于50像素的图片；2）删除清晰度不高、模糊不清或者水印多的图片；3）将所有剩余图片进行灰度处理、线性拉伸、加入随机噪声；4）将经过步骤3）处理之后的图片进行格式修改，统一为jpg格式；步骤三，将步骤二制作好的数据集文件进行训练计算，即通过深度卷积神经网络算法（DCNN）对数据集文件中的图像矩阵进行卷积计算，得出对应的特征矩阵，通过重复多次卷积计算操作，提取出数据集文件中图像数据的特征信息；将提取出来的特征信息和标记（两个标记：合格地图、问题地图）进行对比计算结果精度，并将计算出来的误差值进行反向传播回去DCNN网络参数，在反复多次计算之后，如果结果精度不在提高，即为达到拟合；拟合之后将DCNN中所有的网络参数进行保存，保存得到的数据文件即为模型文件，包括标准地图模型和“问题地图”模型；步骤四，按照给定网址检索网站图片，导入步骤三中训练计算得到的模型文件，对该网站图片进行识别判断，具体为（如图1所示）：1）将网站图片按照512*512像素规格进行裁切；2）将裁切后的网站图片依次导入resnet残差网络运算；3）提取并导出特征值；即resnet残差网络会根据输入图片表现抢眼的特征进行提取，获得表示该图片的特征值的二维矩阵数据；4）判断是否符合地图特征值；通本文档来自技高网...

【技术保护点】
1.一种基于深度学习的互联网问题地图筛查方法，其特征在于，包括以下步骤：步骤一，收集大量图片样本，然后根据地图绘制法律法规的要求进行整理样本图片，将样本图片重新归为两大类并进行标记：合格的标准地图样本库、不合格的“问题地图”样本库；步骤二，对步骤一中获得的合格的标准地图样本库和不合格的“问题地图”样本库分别进行清洗，然后将清洗后的合格的标准地图样本库和不合格的“问题地图”样本库分别进行二进制编码压缩成两个数据集文件；所述的清洗步骤包括：1）删除大小小于10KB或图片宽高都小于50像素的图片；2）删除清晰度不高、模糊不清或者水印多的图片；3）将所有剩余图片进行灰度处理、线性拉伸、加入随机噪声；4）将经过步骤3）处理之后的图片进行格式修改，统一为jpg格式；步骤三，将步骤二制作好的数据集文件进行训练计算，即通过深度卷积神经网络算法对数据集文件中的图像矩阵进行卷积计算，得出对应的特征矩阵，通过重复多次卷积计算操作，提取出数据集文件中图像数据的特征信息；将提取出来的特征信息和标记进行对比计算结果精度，并将计算出来的误差值进行反向传播回去调整深度卷积神经网络算法的网络参数，在反复多次计算之后，如果结果精度不再提高，即为达到拟合；拟合之后将深度卷积神经网络算法中所有的网络参数进行保存，保存得到的数据文件即为模型文件，包括标准地图模型和“问题地图”模型；步骤四，按照给定网址检索网站图片，导入步骤三中训练计算得到的模型文件，对该网站图片进行识别判断，具体为：1）将网站图片按照512*512像素规格进行裁切；2）将裁切后的网站图片依次导入resnet残差网络运算；3）提取并导出特征值；即resnet残差网络会根据输入图片表现抢眼的特征进行提取，获得表示该图片的特征值的二维矩阵数据；4）判断是否符合地图特征值；通过第3）步提取的特征值转换为一个大于0小于1的数值，如果这个数值大于0.5，那么可以判断这样图片是地图，小于0.5则表示这张图片不是地图；5）判断为否，则标记为非地图图片，运算结束；6）判断为是，则标记为地图图片，进行第7）步运算；7）将地图图片与问题地图特征对比；将第3）步中提取的二维矩阵数据与步骤三中训练好的“问题地图”模型进行求差计算，判断是否拟合“问题地图”模型；8）判断为是，则标记为问题地图，运算结束；步骤五，导出识别结果报表，对疑似“问题地图”的网站图片进行标记，标记后，整个互联网问题地图筛查流程结束。...

【技术特征摘要】
1.一种基于深度学习的互联网问题地图筛查方法，其特征在于，包括以下步骤：步骤一，收集大量图片样本，然后根据地图绘制法律法规的要求进行整理样本图片，将样本图片重新归为两大类并进行标记：合格的标准地图样本库、不合格的“问题地图”样本库；步骤二，对步骤一中获得的合格的标准地图样本库和不合格的“问题地图”样本库分别进行清洗，然后将清洗后的合格的标准地图样本库和不合格的“问题地图”样本库分别进行二进制编码压缩成两个数据集文件；所述的清洗步骤包括：1）删除大小小于10KB或图片宽高都小于50像素的图片；2）删除清晰度不高、模糊不清或者水印多的图片；3）将所有剩余图片进行灰度处理、线性拉伸、加入随机噪声；4）将经过步骤3）处理之后的图片进行格式修改，统一为jpg格式；步骤三，将步骤二制作好的数据集文件进行训练计算，即通过深度卷积神经网络算法对数据集文件中的图像矩阵进行卷积计算，得出对应的特征矩阵，通过重复多次卷积计算操作，提取出数据集文件中图像数据的特征信息；将提取出来的特征信息和标记进行对比计算结果精度，并将计算出来的误差值进行反向传播回去调整深度卷积神经网络算法的网络参数，在反复多次计算之后，如果结果精度不再提高，即为达到拟合；拟合之后将深度卷积神经网络算法中所有的网络参数进行保存，保存得到的数据文件即为模型文件，包括标准地图模型和“问题地图”模型；步骤四，按照给定网址检索网站图片，导入步骤三中训练计算得到的模型文件，对该网站图片进行识别判断，具体为：1）将网站图片按照512*512像素规格进行裁切；2）将裁切后的网站图片依次导入resnet残差网络运算；3）提取并导出特征值；即resnet残差网络会根据...

【专利技术属性】
技术研发人员：朱明，刘波，贺雨晴，秦绍峰，林晓媛，何永宁，吴博，廖珊珊，
申请(专利权)人：广西壮族自治区基础地理信息中心，
类型：发明
国别省市：广西,45