一种快速查询网站搜录信息的系统及方法技术方案

一种快速查询网站搜录信息的系统，包括网站关键词查询系统、关键词分配系统、关键词搜录查询系统以及关键词搜录统计系统，所述网站关键词查询系统在获取到网站关键词后，由关键词分配系统将关键词分配至各个服务器，所述关键词搜录查询系统根据服务器内的关键词，向搜索引擎发出请求；所述关键词搜录统计系统归纳并统计获取到的关键词搜录数据，形成关键词统计报表；所述各个服务器包含应用服务器和代理服务器，应用服务器支撑实际程序运行；所述网站关键词查询系统，通过利用有查询搜录需求的网站地址，搜集并存储网站内允许被搜索引擎的关键词；所述关键词分配系统，用于监控各个应用服务器和代理服务器的关键词请求运行情况。

System and method for quickly querying website searching information

A fast inquiry system website search records information, including web site keywords query system, distribution system, keyword search keyword record query system and search keywords recorded statistics system, the website keyword query system to the website keywords after obtaining, by the keyword distribution system of keywords assigned to each server, the keyword search records query system according to the key server, sends a request to the search engine; search keywords recorded statistics system induction and statistical access to search keywords recorded data, form keywords statistical reports; the server contains the application server and the proxy server, application server support practical program; the website keyword query system, through the use of a query search record demand website address, collect and search engine allows the storage site Keywords distribution system is used to monitor the operation of keyword requests of each application server and proxy server.

【技术实现步骤摘要】
一种快速查询网站搜录信息的系统及方法
本专利技术属于互联网搜索设计
，涉及爬虫爬取技术，具体为一种快速查询网站搜录信息系统及方法。
技术介绍
当前我国中小企业已超过5000多万户，占全国企业总数的99％以上，中小企业创造的最终产品和服务的价值已占国内生产总值近6成，提供的城镇就业岗位已占到75％，已成为我国目前及未来最具活力的经济成分。随着互联网的发展，这些中小企业基本上都需要在网上建立发布自己的产品和服务的网站。在传统的网站开发流程中，“客户网站制作完成”意味着网站所有页面、产品、文章等基础数据制作完成，但网站后期的运营情况、网站搜录情况、网站关键词选择是否需要优化等方面都不再被关注。实际上，网站所用者制作网站的本意是想让搜索引擎搜录自己的网站，然后世界各地的人都能够通过在搜索引擎上搜索某个词，能够更好更快地定位网站，从而帮助网站获取更多流量；然而，很多网站在完成制作、并发布后，网站所有者很长一段时间并不清楚网站被搜录的情况以及自己选择的关键词在搜索引擎上的月排名搜索量、CPC(CostPerClick，平均点击费用)、竞争度、KEI(KeyPerformanceIndica本文档来自技高网...

【技术保护点】
一种快速查询网站搜录信息的系统，其特征是包括网站关键词查询系统、关键词分配系统、关键词搜录查询系统以及关键词搜录统计系统，所述网站关键词查询系统在获取到网站关键词后，由关键词分配系统将关键词分配至各个服务器，所述关键词搜录查询系统根据服务器内的关键词，向搜索引擎发出请求，并通过分析返回的数据获取关键词搜录情况，所述关键词搜录统计系统归纳并统计获取到的关键词搜录数据，形成关键词统计报表；所述各个服务器包含应用服务器和代理服务器，应用服务器支撑实际程序运行，代理服务器支撑访问搜索引擎；所述网站关键词查询系统，通过利用有查询搜录需求的网站地址，搜集并存储网站内允许被搜索引擎搜录页面的关键词；所述关键...

【技术特征摘要】
1.一种快速查询网站搜录信息的系统，其特征是包括网站关键词查询系统、关键词分配系统、关键词搜录查询系统以及关键词搜录统计系统，所述网站关键词查询系统在获取到网站关键词后，由关键词分配系统将关键词分配至各个服务器，所述关键词搜录查询系统根据服务器内的关键词，向搜索引擎发出请求，并通过分析返回的数据获取关键词搜录情况，所述关键词搜录统计系统归纳并统计获取到的关键词搜录数据，形成关键词统计报表；所述各个服务器包含应用服务器和代理服务器，应用服务器支撑实际程序运行，代理服务器支撑访问搜索引擎；所述网站关键词查询系统，通过利用有查询搜录需求的网站地址，搜集并存储网站内允许被搜索引擎搜录页面的关键词；所述关键词分配系统，用于监控各个应用服务器和代理服务器的关键词请求运行情况：(1)将未被分配的关键词分配给空闲的代理服务器，并将这些关键词置为“已分配状态”；(2)将已降权的代理服务器中未进行搜索引擎调用的关键词置为“未搜索状态”；(3)监控将被降权的代理服务器在增权后是否达到调用搜索引擎的标准，将达至标准的代理服务器状态设置为“可用状态”；所述关键词搜录查询系统，通过采用“模拟人工请求”和“机器权值控制”的方式，以关键词作为搜索条件，通过分析返回的搜索结果，获取网站关键词在搜索引擎中的搜录情况；所述关键词搜录统计系统，用于在客户网站关键词搜录查询完之后对此次数据进行统计处理，采用MAP-REDUCE(映射-化简)的方式，对关键词进行归纳总结，生成关键词统计曲线图以及关键词统计列表，对关键词进行系统的比较和查看。2.根据权利要求所述的快速查询网站搜录信息的方法，其特征是具体步骤包括：步骤1：网站关键词获取；由网站关键词查询系统执行；具体为：通过网站地址获取网站的robots文件及网站的siteMap文件，遍历robots文件和siteMap文件中的数据，提取网站允许搜索引擎搜录的链接信息；根据链接信息，获取链接对应的HTML信息，分析HTML内容，找到HTML中的<metaname＝”keywords”content＝”XXX”>标记，其中标签中content对应的XXX为对应链接的关键词内容，并以符号“，,\|；；、.。”作为切割依据，通过对关键词内容进行分词拆分，并过滤无效词组，提取核心词组；进一步地，以核心词组为基础，在核心词组之前和之后添加新词，组合成为衍生词组；所述核心词组和所述衍生词组是最终搜索引擎搜录查询的关键词数据，将此数据存储到存储介质中，为关键词分配系统和搜录查询系统做准备；若没有robots文件，默认是所有页面全部抓取；步骤2：网站关键词分配；应用服务器通过代理服务器代理访问搜索引擎并请求分配关键词，由关键词分配系统执行；具体包括：步骤201：轮询所有“服务状态为空闲”的代理服务器，判断代理服务器权值是否超过预设的关键词搜录最小权值，若大于最小权值，转步骤202；若小于最小权值，转步骤203；步骤202：如果大于关键词搜录最小权值，将未被分配的关键词分配给空闲的服务器，并将这些关键词置为已分配状态；步骤203：如...

【专利技术属性】
技术研发人员：温广意，
申请(专利权)人：南京焦点领动云计算技术有限公司，
类型：发明
国别省市：江苏,32