一种网络内容检索系统技术方案

一种网络内容检索系统。本发明专利技术基于网络爬虫系统实现，并提供了内容统一管理及知识管理相关功能。通过使用本发明专利技术系统，可以对片段化、碎片化的网络内容进行集中检索，对检索的内容进行统一维护管理，建立知识点链接，形成知识库，支持使用者在知识库的基础上进行进一步的衍生推广应用功能。本发明专利技术系统可有效提高对于网络信息内容的检索和利用效率。

A network content retrieval system

【技术实现步骤摘要】
一种网络内容检索系统
本专利技术涉及信息数据管理
，特别是指一种网络内容检索系统。
技术介绍
随着网络社会的进一步发展，网络的内容及其结构越来越复杂，内容的深度与广度也趋于多维关联性。在商业应用中，搜索所需要的信息通常采用搜索引擎，通过关键字进行搜索，但随着网络信息内容的范关联性越来越强，目前检索的效率明显下降，内容片段化、碎片化越来越明显。基于上述情况，本专利技术提出一种网络内容检索系统。本专利技术基于网络爬虫系统实现，并提供了内容统一管理及知识管理相关功能。通过使用本专利技术系统，可以对片段化、碎片化的网络内容进行集中检索，对检索的内容进行统一维护管理，建立知识点链接，形成知识库，支持使用者在知识库的基础上进行进一步的衍生推广应用功能。本专利技术系统可有效提高对于网络信息内容的检索和利用效率。
技术实现思路
本专利技术提出一种网络内容检索系统。本专利技术基于网络爬虫系统实现，并提供了内容统一管理及知识管理相关功能。系统通过终端交互模块获取用户的知识检索范围，通过爬虫系统设置网站内容抓取规则，通过信息缓存库暂存从爬虫从网络中抓取的内容，通过知识管理模块对抓取的内容进行进一步维护和管理，并设置知识元关联关系，通过知识网络展示库中知识点的结构，使用关系型数据库进行数据内容的统一存储与管理，由此，本专利技术包括如下模块：终端用户交互模块：与用户进行使用交互，通过web页面的控件获取用户键入的需求，基于需求调用其它相关业务功能模块进行处理，最后将处理结果显示在web端页面上，同时支持适配到移动端的页面显示；爬虫模块：用以根据用户键入的抓取请求，基于请求生成抓取的正则表达式，基于正则表达式形成抓取种子URL、通过多个抓取种子URL生成待抓取URL队列（数组格式）、通过每个抓取种子URL解析DNS、解析后访问对应页面并下载网页，循化执行上述步骤直至待抓取队列为空，从而完成网络内容抓取；信息缓存库：用以存放爬虫系统从网络中抓取来的各类信息，并提供编辑、合并、删除、转入知识库等基本功能操作，提供富文本编辑器支持用户对抓取来的信息内容进行进一步的编辑修改操作；知识库管理模块：用以实现对信息缓存库中提取出来的正式内容信息进行分类整合管理，提供包括知识归类、知识元设置、分类管理、知识检索等功能，其中知识元管理是一个独立的子模块，基于元数据实现知识元，每个知识元包括知识内容、关键词、父知识元结点等字段信息，知识元通过父子结点设置链接关系；知识网展示模块：用以实现知识网状结构的展示功能，网状结构在知识库管理模块中的知识元管理功能实现，通过知识元构建知识网状结构，并通过web控件展示，如网状构建出现逻辑问题，则提示用户不能创新知识网格结构图；关系型数据库管理模块；用以存放和管理所有的内容信息数据，提供关系型数据表进行存储，提供数据检索索引进行检索，使用SQL语言进行数据库内容信息检索、编辑、删除等操作。具体实施方式为使本专利技术要解决的技术问题、技术方案和优点更加清楚，下面将结合具体实施例进行详细描述。实施方案本专利技术提出一种网络内容检索系统。本专利技术基于网络爬虫系统实现，并提供了内容统一管理及知识管理相关功能。系统通过终端交互模块获取用户的知识检索范围，通过爬虫系统设置网站内容抓取规则，通过信息缓存库暂存从爬虫从网络中抓取的内容，通过知识管理模块对抓取的内容进行进一步维护和管理，并设置知识元关联关系，通过知识网络展示库中知识点的结构，使用关系型数据库进行数据内容的统一存储与管理。由此，本实施例包括如下模块：终端用户交互模块：与用户进行使用交互，通过web页面的控件获取用户键入的需求，基于需求调用其它相关业务功能模块进行处理，最后将处理结果显示在web端页面上，同时支持适配到移动端的页面显示；爬虫模块：用以根据用户键入的抓取请求，基于请求生成抓取的正则表达式，基于正则表达式形成抓取种子URL、通过多个抓取种子URL生成待抓取URL队列（数组格式）、通过每个抓取种子URL解析DNS、解析后访问对应页面并下载网页，循化执行上述步骤直至待抓取队列为空，从而完成网络内容抓取；信息缓存库：用以存放爬虫系统从网络中抓取来的各类信息，并提供编辑、合并、删除、转入知识库等基本功能操作，提供富文本编辑器支持用户对抓取来的信息内容进行进一步的编辑修改操作；知识库管理模块：用以实现对信息缓存库中提取出来的正式内容信息进行分类整合管理，提供包括知识归类、知识元设置、分类管理、知识检索等功能，其中知识元管理是一个独立的子模块，基于元数据实现知识元，每个知识元包括知识内容、关键词、父知识元结点等字段信息，知识元通过父子结点设置链接关系；知识网展示模块：用以实现知识网状结构的展示功能，网状结构在知识库管理模块中的知识元管理功能实现，通过知识元构建知识网状结构，并通过web控件展示，如网状构建出现逻辑问题，则提示用户不能创新知识网格结构图；关系型数据库管理模块；用以存放和管理所有的内容信息数据，提供关系型数据表进行存储，提供数据检索索引进行检索，使用SQL语言进行数据库内容信息检索、编辑、删除等操作。以上所述是本专利技术的优选实施方式，应当指出，对于本
的普通技术人员来说，在不脱离本专利技术所述原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本专利技术的保护范围。本文档来自技高网...

【技术保护点】
1.一种网络内容检索系统，本专利技术基于网络爬虫系统实现，并提供了内容统一管理及知识管理相关功能；/n系统通过终端交互模块获取用户的知识检索范围，通过爬虫系统设置网站内容抓取规则，通过信息缓存库暂存从爬虫从网络中抓取的内容，通过知识管理模块对抓取的内容进行进一步维护和管理，并设置知识元关联关系，通过知识网络展示库中知识点的结构，使用关系型数据库进行数据内容的统一存储与管理，由此，本专利技术包括如下模块：/n终端用户交互模块：与用户进行使用交互，通过web页面的控件获取用户键入的需求，基于需求调用其它相关业务功能模块进行处理，最后将处理结果显示在web端页面上，同时支持适配到移动端的页面显示；/n爬虫模块：用以在网络上爬取用户所需要的信息；/n信息缓存库：用以存放爬虫系统从网络中抓取来的各类信息，并提供编辑、合并、删除、转入知识库等基本功能操作，提供富文本编辑器支持用户对抓取来的信息内容进行进一步的编辑修改操作；/n知识库管理模块：用以实现对信息缓存库中提取出来的正式内容信息进行分类整合管理，提供包括知识归类、知识元设置、分类管理、知识检索等功能；/n知识网展示模块：用以实现知识网状结构的展示功能，网状结构在知识库管理模块中的知识元管理功能实现，通过知识元构建知识网状结构，并通过web控件展示；/n关系型数据库管理模块；用以存放和管理所有的内容信息数据，提供关系型数据表进行存储，提供数据检索索引进行检索，使用SQL语言进行数据库内容信息检索、编辑、删除等操作。/n...

【技术特征摘要】
1.一种网络内容检索系统，本发明基于网络爬虫系统实现，并提供了内容统一管理及知识管理相关功能；
系统通过终端交互模块获取用户的知识检索范围，通过爬虫系统设置网站内容抓取规则，通过信息缓存库暂存从爬虫从网络中抓取的内容，通过知识管理模块对抓取的内容进行进一步维护和管理，并设置知识元关联关系，通过知识网络展示库中知识点的结构，使用关系型数据库进行数据内容的统一存储与管理，由此，本发明包括如下模块：
终端用户交互模块：与用户进行使用交互，通过web页面的控件获取用户键入的需求，基于需求调用其它相关业务功能模块进行处理，最后将处理结果显示在web端页面上，同时支持适配到移动端的页面显示；
爬虫模块：用以在网络上爬取用户所需要的信息；
信息缓存库：用以存放爬虫系统从网络中抓取来的各类信息，并提供编辑、合并、删除、转入知识库等基本功能操作，提供富文本编辑器支持用户对抓取来的信息内容进行进一步的编辑修改操作；
知识库管理模块：用以实现对信息缓存库中提取出来的正式内容信息进行分类整合管理，提供包括知识归类、知识元设置、分类管理、知识检索等功能；
知识网展示模块：用以实现知识网状结构的展示功能，网状结构在知识库管理模块...

【专利技术属性】
技术研发人员：不公告发明人，
申请(专利权)人：江苏融成爱伊文化传播有限公司，
类型：发明
国别省市：江苏;32