一种基于深度学习的科技文献图像处理系统技术方案

一种基于深度学习的科技文献图像处理系统，包括数据上传及处理模块，用于上传文献和图像数据；数据存储模块，用于保存数据上传及处理模块处理完的数据；深度学习算法模块，利用深度学习模型对数据进行处理；展示与评价模块，对获得的图像进行美化和展示。本发明专利技术采用深度学习技术构建相应模块，实现一个图像处理系统，解决科研人员因科技文献数量过多导致寻找和提取图像困难的问题，支持批量上传科技文献并提取文献内所有图像，便于科研人员分析和理解；为科研人员绘制文献图像提供色彩建议，有助于科研人员绘制出色彩丰富且合理的图像；利用深度学习算法解决了之前需要手工设计寻找图像特征的难点，有助于快速分析文献图像。

【技术实现步骤摘要】
一种基于深度学习的科技文献图像处理系统
本专利技术涉及深度学习、图像处理，特别是涉及基于深度学习的科技文献图像处理系统。
技术介绍
随着人工智能概念的普及和计算机技术的发展，深度学习技术迎来了突破性进展。和传统机器学习算法相比，深度学习技术有着两方面的优势：一是随着数据量的不断增加，传统机器学习算法难以提升性能，而深度学习技术能随着数据规模的增加不断提升其性能；二是传统机器学习算法大多需要手动提取特征，科研人员面对不同问题需要设计不同的特征提取器，而深度学习技术可以从数据中直接提取特征，这大大减少了科研人员的工作量。因此，深度学习成为大数据时代的热点技术，目前大量科研人员对深度学习展开了研究和实践工作。科技文献是科研人员展示最新研究结果的方式。随着时代的进步和科学技术的不断发展，公开发表的科技文献数量呈现快速增长的趋势。科研人员能从科技文献中获得大量信息和数据，使其快速了解技术进展，但数量众多的科技文献对科研人员分析文献信息带来了巨大挑战。科技文献包含文本、实验数据、图表、引文等海量信息，即使是领域内的专业人员也无法依靠手工方式筛选并获取大量感兴趣的信息，因此，利用深度学习技术对文献数据进行批量探索和研究逐渐成为了当前的研究热点。科技文献中的图像是科研人员阅读文献时关注的重点。撰写科技文献时，图像质量的好坏在一定程度上决定了文章能否被期刊录用。文献图像以直观的方式使读者理解文章所叙述事物的形态及变化规律，补充文字叙述的不足，使其内容表达的更合理、更完善。因此绘制一幅清晰直观、色彩鲜明的图像成为了研究人员撰写科技文献时的重点。
技术实现思路
为了克服现有技术的不足，本专利技术的目的是针对目前科研人员需要大量手动获得文献图像，且在绘图时对色彩使用并不明确的情况，提出一种基于深度学习的科技文献图像处理系统，实现批量获得文献图像且美化图像的目的。本专利技术解决其技术问题所采用的技术方案如下：一种基于深度学习的科技文献图像处理系统，包括数据上传及处理模块、数据存储模块、深度学习算法模块和展示与评价模块；所述数据上传及处理模块实现数据上传及处理，批量导入科技文献和上传待处理图像。导入文献时，该模块将自动把文献转换格式；上传待处理图像时，该模块自动将图像缩放大小至合适尺寸进行存储；所述数据存储模块采用关系型数据库存储科技文献和图像，关系型数据库具有使用方便、容易理解、易于维护等优点，可以满足海量科技文献和图像数据的存储及读取；所述深度学习算法模块利用深度学习技术实现对科技文献图像的自动提取及对文献图像的自动上色；所述展示与美化模块为展示提取图像结果和美化上色后的图像，展示提取图像结果是把从科技文献中批量提取的图像显示出来，每张图像下方都带有相应图注和图像对应的类别标签；美化上色后的图像是根据深度学习算法模块给出的颜色建议进行颜色调整并选择相应参数，得到色彩明显、线条清晰的图像。进一步，所述深度学习算法模块的实现包括如下步骤：(1)自动提取，选用目标检测算法进行批量提取科技文献中的图像，利用对应的图像训练集和标签集进行模型训练，训练完成后输出深度学习模型用于科技文献图像的自动提取，该模型可根据图像特征自动检测科技文献中包含的图像并输出结果；(2)自动上色，选用图像翻译算法进行科技文献图像的自动上色，利用统一尺寸大小的灰度图和原图进行模型训练，训练完成后输出深度学习模型用于图像的自动上色，将绘制好的草图输入训练完成的模型，输出自动上色后的图像，该方法包括但不限于自动生成颜色值，用于进行图像美化。本专利技术的有益效果表现于：1、解决科研人员因科技文献数量过多导致寻找和提取图像困难的问题，支持批量上传科技文献并提取文献内所有图像，便于科研人员分析和理解；2、为科研人员绘制文献图像提供色彩建议，有助于科研人员绘制出色彩丰富且合理的图像；3、利用深度学习算法解决了之前需要手工设计寻找图像特征的难点，有助于快速分析文献图像。附图说明图1为本专利技术各组成模块部分系统架构示意图；图2为深度学习算法模块自动提取方法流程图；图3为深度学习算法模块自动上色方法流程图.具体实施方式下面结合附图对本专利技术做进一步说明。参照图1-图3，一种基于深度学习的科技文献图像处理系统，包括数据上传及处理模块、数据存储模块、深度学习算法模块和展示与评价模块；所述数据上传及处理模块实现数据上传及处理功能，批量导入科技文献和上传待处理图像，导入文献时，该模块自动将PDF文献转为PNG格式的图像；上传待处理图像时，该模块自动将图像缩放大小至256*256像素；所述数据存储模块采用关系型数据库MySQL存储科技文献和图像。MySQL数据库具有运行速度快、使用成本低、可移植性强等优点，可以满足海量科技文献和图像数据的存储及读取。在设计完表名和字段后，在MySQL中创建数据表，该模块接收到上传的图像后，将图像转为二进制格式进行存储；所述深度学习算法模块利用深度学习技术实现对科技文献图像的自动提取及对文献图像的自动上色；所述展示与美化模块：展示与美化模块分为展示提取图像结果和美化上色后的图像。展示提取图像结果是把从科技文献中批量提取的图像显示出来，每张图像下方都带有相应图注和图像对应的类别标签；美化上色后的图像是根据深度学习算法模块给出的颜色建议进行颜色调整并选择相应参数，得到色彩明显、线条清晰的图像。所述深度学习算法模块的实现包括如下步骤：(1)自动提取：传统提取图像的方式基本是利用手工方式寻找图像相应特征，在深度学习技术出现后，选用目标检测算法Faster-RCNN进行批量提取科技文献中的图像。训练过程为先将图像输入卷积神经网络进行特征提取，再通过区域生成网络(RegionProposalNetwork，RPN)和边框回归生成较为精确的区域建议，最后对分类概率和边框回归进行联合训练。训练模型时的损失包括分类损失和回归损失，计算式如下：式中，i表示每一个样本的下标，表示分类损失，分类损失的定义为pi表示预测为某一类别的概率，若当前样本为正样本，则pi＝1，若当前样本为负样本，则pi＝0，是标注过的真实数据的标签，表示边框回归损失，定义为SmoothL1(t-t*)，SmoothL1函数的定义为ti表示正样本到建议区域的平移缩放参数，表示正样本到标注过的真实数据的平移缩放参数。训练完成后输出深度学习模型用于科技文献图像的自动提取。该模型可根据图像特征自动检测科技文献中包含的图像并输出结果。(2)自动上色：选用图像翻译算法Pix2Pix进行科技文献图像的自动上色。Pix2Pix主要网络结构采用了生成式对抗网络(GenerativeAdversarialNetworks，GAN)的原理，利用尺寸大小为256*256像素的成对灰度图和原图进行模型训练，训练完成后输出深度学习模型用于图像的自动上色。为了使输入和输出图像的相似度更大，Pix2Pix算法在目标函数之间加入了L1损失函数，计算式本文档来自技高网...

【技术保护点】
1.一种基于深度学习的科技文献图像处理系统，其特征在于，所述系统包括数据上传及处理模块、数据存储模块、深度学习算法模块和展示与评价模块；/n所述数据上传及处理模块实现数据上传及处理，批量导入科技文献和上传待处理图像，导入文献时，该模块将自动把文献转换格式；上传待处理图像时，该模块自动将图像缩放大小至合适尺寸进行存储；/n所述数据存储模块采用关系型数据库存储科技文献和图像，可以满足海量科技文献和图像数据的存储及读取；/n所述深度学习算法模块利用深度学习技术实现对科技文献图像的自动提取及对文献图像的自动上色；/n所述展示与美化模块为展示提取图像结果和美化上色后的图像，展示提取图像结果是把从科技文献中批量提取的图像显示出来，每张图像下方都带有相应图注和图像对应的类别标签；美化上色后的图像是根据深度学习算法模块给出的颜色建议进行颜色调整并选择相应参数，得到色彩明显、线条清晰的图像。/n

【技术特征摘要】
1.一种基于深度学习的科技文献图像处理系统，其特征在于，所述系统包括数据上传及处理模块、数据存储模块、深度学习算法模块和展示与评价模块；
所述数据上传及处理模块实现数据上传及处理，批量导入科技文献和上传待处理图像，导入文献时，该模块将自动把文献转换格式；上传待处理图像时，该模块自动将图像缩放大小至合适尺寸进行存储；
所述数据存储模块采用关系型数据库存储科技文献和图像，可以满足海量科技文献和图像数据的存储及读取；
所述深度学习算法模块利用深度学习技术实现对科技文献图像的自动提取及对文献图像的自动上色；
所述展示与美化模块为展示提取图像结果和美化上色后的图像，展示提取图像结果是把从科技文献中批量提取的图像显示出来，每张图像下方都带有相应图注和图像对应的类别标签；美化上色后的图像是根据深...

【专利技术属性】
技术研发人员：傅晨波，李一帆，余金隆，邱君瀚，岳昕晨，夏镒楠，
申请(专利权)人：浙江工业大学，
类型：发明
国别省市：浙江;33