一种科技信息服务系统技术方案

本发明专利技术公开了一种科技信息服务系统，具体涉及信息检索领域，包括信息采集、信息处理、信息展示、信息存储模块，步骤101、科技信息采集，通过网页爬虫来爬取专业权威的信息，将爬取得到的信息数据库传输至数据处理模块；步骤102科技信息处理模块，优化获得的数据库，解决慢查询问题，通过数据库表结构优化最大化利用机器配置；步骤103、科技信息展示模块，将上述经处理优化的数据库连接到浏览器，设计科技信息检索网页，网页中包括信息检索单元和科技信息列表，网页中设置有检索栏，通过在检索栏中输入字段检索科技信息；步骤104进行信息存储，利用ES搜索服务器的分布式的实时文件存储功能存储科技信息。存储科技信息。存储科技信息。

【技术实现步骤摘要】
一种科技信息服务系统


[0001]本专利技术涉及信息检索
，更具体地说，本专利技术涉及一种科技信息服务系统。

技术介绍

[0002]科技是第一生产力，人类社会的快速发展离不开科技进步，科技就是“科学技术”，科学与技术二者既有密切联系，又有重要的区别，科学是解决理论问题，技术是解决实际问题。
[0003]科技服务是在产业不断细化分工和产业不断细化分工和产业不断融合生长的趋势下形成的新的产业分类。科技服务是指运用现代科技知识、现代技术和分析研究方法，以及经验、信息等要素向社会提供智力服务的新兴产业，主要包括科学研究、专业技术服务、技术推广、科技信息交流、科技培训、技术咨询、技术孵化、技术市场、知识产权服务、科技评估和科技鉴证等活动。但是我国的科技信息服务在实际使用时，存在科技信息获取困难、科技信息权威性不足、科技转化率低的问题。
[0004]我国科技服务仍处于起步阶段，服务功能还远不能满足科技、经济发展需要。企业发展急需科技成果得不到满足，研究机构大量成果转化率不高，两者脱节阻碍创新驱动发展。所以，促进科技服务业发展，对培育战略性新兴产业，加快转变经济发展方式，提高自主创新能力和建设创新型国家有重要意义。

技术实现思路

[0005]为了克服现有技术的上述缺陷，本专利技术提供一种科技信息服务系统，通过网页形式展示获得的科技信息数据库，利用搜索服务器检索科技信息，为用户提供科技信息，完成科技信息服务，以解决上述
技术介绍
中提出的问题。
[0006]技术方案
[0007]为实现上述目的，本专利技术提供如下技术方案：包括科技信息采集模块、科技信息处理模块、科技信息展示模块、科技信息存储模块，所述科技信息采集模块用于采集科技信息为其他模块提供数据支撑；信息处理模块对采集信息的处理，用于保证科技信息的安全性和易检索性；信息展示模块用于展示经处理的科技信息，展示模块包括检索功能，所述检索模块通过输入字段检索得到对应的科技信息；信息存储模块用于存储备份采集的科技信息。
[0008]在一个优选地实施方式中，本专利技术系统包括以下步骤：
[0009]步骤101、科技信息采集，通过网页爬虫来爬取专业权威的信息，将爬取得到的信息数据库传输至数据处理模块，权威来源如，《SCIENCE》期刊、《NATURE》期刊、知网、万维网、维基百科，同时标记信息权威度，权威度分为：T、A、B、C、D、E类；
[0010]步骤102科技信息处理模块，优化获得的数据库，具体包括：查询语言优化、索引优化、数据库表结构优化，通过对查询语言的优化与索引优化解决慢查询问题，通过数据库表结构优化最大化利用机器配置；
[0011]步骤103、科技信息展示模块，将上述经处理优化的数据库连接到浏览器，设计科技信息检索网页，网页中包括信息检索单元和科技信息列表，创建一个网页连接数据库的PHP代码文件，网页通过Tomcat读取数据库，然后解决浏览器编码问题并指定数据库字符集；最后通过“mysql_select_db”函数选择并连接数据库，网页中设置有检索栏，通过在检索栏中输入字段检索科技信息；
[0012]步骤104进行信息存储，利用ES搜索服务器的分布式的实时文件存储功能存储科技信息，在ES中的数据以文档形式存在，并且有归属于类型，这些类型存在于索引中。
[0013]在一个优选地实施方式中，所述网页爬虫方式为：先使用Python制作网页爬虫，然后获取科技信息的权威网站列表，再根据列表获得科技信息的网页地址，最后抓取权威科技信息。
[0014]在一个优选地实施方式中，所述查询语言优化、索引优化、数据库表结构优化的方式如下：
[0015]A.查询语言的优化，用EXPLAIN分析一条查询语句，从而避免索引失效导致的全表扫描，保证SQL语句的规范，不在列上进行运算，不使用“NOT IN”和“<>”操作；
[0016]B.优化子查询，在MySQL中，通过用JOIN来代替子查询来避免在子查询中使用嵌套查询；
[0017]C.添加适当索引来提高数据库查询速度如，普通索引、主键索引、唯一索引unique、全文索引，使用短索引，在建有索引的字段上不使用函数进行操作，避免在查询中让MySQL进行自动类型转换；
[0018]D.设计符合下列范式的数据库表来优化数据库表结构，第一范式，列不可分，强调列的原子性，即列不能够再分成其他几列；第二范式，非主键列完全依赖主键，不存在部分依赖，即一个数据库表表必须有一个主键，二并且没有包含在主键中的列必须完全依赖于主键，而不能只依赖于主键的一部分；第三范式，非主键列必须直接依赖主键，不存在传递依赖，不存在非主键列A依赖于非主键列B，非主键列B依赖于主键的情况。
[0019]在一个优选地实施方式中，所述信息检索单元，使用ES搜索服务器，ES与MySQL数据同步，ES可以把内容根据词的意义进行分词，然后分别创建索引。
[0020]在一个优选地实施方式中，所述ES搜索服务器与MySQL数据同步方案有：程序同步、Logstash、Canal、MQ中间件，所述程序同步，通过在代码里写逻辑，数据在增删改查进数据库的同时，也在ES中同步；所述Logstash，定时查询数据库，查询到数据有变化就发送到ES中；所述Canal，利用数据库的Binlog同步变化数据，然后将数据发送给ES，或者通过Java代码监听拿到数据，再发送到ES做其他处理；所述MQ中间件，有数据变化的时候，就通知MQ，然后监听MQ实现数据同步到MQ。
[0021]在一个优选地实施方式中，本专利技术大数据存储技术HDFS、HBase、MySQL、ES，本专利技术优选为ES。
[0022]在一个优选地实施方式中，所述科技信息服务展示模块的展示形式可以是一个软件、一个网页、一个APP，甚至是一个微信小程序，本专利技术优选为一个网页。
[0023]本专利技术的技术效果和优点：本专利技术选择通过网页形式进行展示科技信息，具有共享性、实时性和易操作性；通过使用ES开源搜索引擎框架，可以使用JSON格式快速索引科技信息；通过对查询语言优化、索引优化、数据库表结构优化，提高了检索速度，能够更好地为
用户科技信息服务。
附图说明
[0024]图1为本专利技术的整体结构示意图。
具体实施方式
[0025]下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整地传达给本领域的技术人员。
[0026]以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本申请及其应用或使用的任何限制。
[0027]对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。
[0028]本申请实施例可以应用于计算本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种科技信息服务系统，其特征在于：包括科技信息采集模块、科技信息处理模块、科技信息展示模块、科技信息存储模块，所述科技信息采集模块用于采集科技信息为其他模块提供数据支撑；信息处理模块对采集信息的处理，用于保证科技信息的安全性和易检索性；信息展示模块用于展示经处理的科技信息，展示模块包括检索功能，所述检索模块通过输入字段检索得到对应的科技信息；信息存储模块用于存储备份采集的科技信息。2.根据权利要求1所述的一种科技信息服务系统，其特征在于：包括以下步骤：步骤101、科技信息采集，通过网页爬虫来爬取专业权威的信息，将爬取得到的信息数据库传输至数据处理模块，同时标记信息权威度，权威度分为：T、A、B、C、D、E类；步骤102科技信息处理模块，优化获得的数据库，具体包括：查询语言优化、索引优化、数据库表结构优化，通过对查询语言的优化与索引优化解决慢查询问题，通过数据库表结构优化最大化利用机器配置；步骤103、科技信息展示模块，将上述经处理优化的数据库连接到浏览器，设计科技信息检索网页，网页中包括信息检索单元和科技信息列表，创建一个网页连接数据库的PHP代码文件，网页通过Tomcat读取数据库，然后解决浏览器编码问题并指定数据库字符集；最后通过“mysql_select_db”函数选择并连接数据库，网页中设置有检索栏，通过在检索栏中输入字段检索科技信息；步骤104进行信息存储，利用ES搜索服务器的分布式的实时文件存储功能存储科技信息，在ES中的数据以文档形式存在，并且有归属于类型，这些类型存在于索引中。3.根据权利要求2所述的一种科技信息服务系统，其特征在于：所述网页爬虫方式为：先使用Python制作网页爬虫，然后获取科技信息的权威网站列表，再根据列表获得科技信息的网页地址，最后抓取权威科技信息。4.根据权利要求2所述的一种科技信息服务系统，其特征在于：查询语言优化、索引优化、数据库表结构优化的方式如下：A.查询语言的优化，用EXPLAIN分析一条查询语句，从而避免索引失效导致的全表扫描，保...

【专利技术属性】
技术研发人员：赵亚君，刘芳，李懿哲，姚志浩，柴梦卓，李海焰，滑依琳，丁梦茹，冯孟美，
申请(专利权)人：河南省索普瑞科技服务有限公司，
类型：发明
国别省市：