【技术实现步骤摘要】
本专利技术属于计算机及互联网
，涉及一种数据抓取方法，尤其涉及一种B/S 结构系统的数据抓取方法。
技术介绍
目前在电子政务的推动工作中，往往要遇到这样一个问题各政府部门条线系统在建设各自的信息系统时，对于与其他部门的信息系统的对接问题的考虑不周，这导致了各个系统之间缺乏横向联系，无法共享一些公共的数据信息。这种现象引发了一系列的问题包括系统数据的冗余，数据的 缺失，甚至是不同系统中相通对象的描述数据严重不符；还存在二次数据录入的问题，相关系统数据维护者可能要向多个系统录入相关的数据，客观上加重了系统数据维护者的工作量。这一现象是与系统建设推动工作效率、减轻工作强度的初衷相违背的。但是要合理解决上述问题，不仅仅要靠技术上突破，还往往需要政府拿出切实可行政务电子化的发展方针，要有一个合理并弹性的，能协调各条线部门联横发展的路线来。例如，上海各区县镇都在进行电子政务的建设，大都遇到一个问题，民政和劳保两条线中都有各自先前建设的老系统，一个是B/S结构的，一个是C/S结构的。遇到的实际困难是这两个系统的后台数据库是无法向第三方公开的，也就是说，第三方无法直接向这...
【技术保护点】
【技术特征摘要】
1.ー种B/S结构系统的数据抓取方法，其特征在于，所述方法包括 地址列表获取步骤，获取需要抓取的网页的地址列表信息； 网页数据请求步骤，根据网页的地址列表信息提出请求，得到网页的内容； 网页数据抓取步骤，分析网页的结构，并提取出想要的内容。2.根据权利要求I所述的数据抓取方法，其特征在干 所述方法进ー步包括模拟登录步骤，根据登录验证信息模拟登录；登录后，再进行数据的抓取。3.根据权利要求I所述的数据抓取方法，其特征在于 所述网页数据抓取步骤中，根据数据发送的源地址与目标地址抓取所需的网页中的数据，抓取的数据为TCP/IP数据包，对TCP/IP数据包进行解析后获得HTTP协议中的文本数...
【专利技术属性】
技术研发人员：吴卫平，
申请(专利权)人：上海互联网软件有限公司，上海互软信息科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。