The invention discloses a WEB data acquisition method and system, which comprises a data acquisition device, a data transmission module and a data receiving device. The data acquisition device connects a data receiving device through a data transmission module, and the data acquisition device is equipped with a processing unit, a data acquisition device and a data encryption unit. The data virus detection unit and the data storage unit are provided with the first data processing unit, the second data processing unit and the storage unit in the data receiving device. The structure and principle of the present invention are simple, can accurately and efficiently collect WEB data, and has high security.
【技术实现步骤摘要】
一种WEB数据采集方法及系统
本专利技术涉及WEB数据采集
,具体为一种WEB数据采集方法及系统。
技术介绍
Web是伴随着Internet技术而产生的。在计算机网络中,对于提供Web服务的计算机称为Web服务器。Web采用浏览器/服务器的工作方式。每个Web服务器上都放置着大量的Web信息。Web信息的基本单位是Web页(网页),多个网页组成了一个Web节点。每个Web节点的起始页称为“主页”,且拥有一个URL地址(统一资源定位地址)。Web节点之间及网页之间都是以超文本结构(非线性的网状结构)来进行组织的。目前,互联网技术飞速发展,信息呈现出爆炸性的增长,web数据分析具有了非常重大的意义。通过对网页中大量的非结构化的数据进行分析,可以得到有价值的报表等,提供给网站运营人员和管理人员,供他们做决策和运营。其中,Web数据例如包括:PV(pageview,页面浏览量)日志,点击(或者称事件)日志,效果日志(包括登录,订单等)等数据。目前的WEB数据采集方法采集效率低,而且安全性能差。
技术实现思路
本专利技术的目的在于提供一种WEB数据采集方法及系统,以解决上述
技术介绍
中提出的问题。为实现上述目的,本专利技术提供如下技术方案:一种WEB数据采集系统,采集系统包括数据采集装置、数据传输模块和数据接收装置,所述数据采集装置通过数据传输模块连接数据接收装置,所述数据采集装置内设有处理单元、数据采集器、数据加密单元、数据病毒检测单元和数据存储单元,所述数据采集器输入端连接数据采集节点,输出端连接数据加密单元,所述数据加密单元、数据病毒检测单元和数据存储单元均连 ...
【技术保护点】
1.一种WEB数据采集系统,采集系统包括数据采集装置(1)、数据传输模块(2)和数据接收装置(3),其特征在于:所述数据采集装置(1)通过数据传输模块(2)连接数据接收装置(3),所述数据采集装置(1)内设有处理单元(4)、数据采集器(5)、数据加密单元(6)、数据病毒检测单元(7)和数据存储单元(8),所述数据采集器(5)输入端连接数据采集节点(9),输出端连接数据加密单元(6),所述数据加密单元(6)、数据病毒检测单元(7)和数据存储单元(8)均连接处理单元(4),所述数据接收装置(3)内设有第一数据处理单元(10)、第二数据处理单元(11)和存储单元(12)。
【技术特征摘要】
1.一种WEB数据采集系统,采集系统包括数据采集装置(1)、数据传输模块(2)和数据接收装置(3),其特征在于:所述数据采集装置(1)通过数据传输模块(2)连接数据接收装置(3),所述数据采集装置(1)内设有处理单元(4)、数据采集器(5)、数据加密单元(6)、数据病毒检测单元(7)和数据存储单元(8),所述数据采集器(5)输入端连接数据采集节点(9),输出端连接数据加密单元(6),所述数据加密单元(6)、数据病毒检测单元(7)和数据存储单元(8)均连接处理单元(4),所述数据接收装置(3)内设有第一数据处理单元(10)、第二数据处理单元(11)和存储单元(12)。2.根据权利要求1所述的一种WEB数据采集系统,其特征在于:所述第一数据处理单元(10)接收数据并进行分帧处理,将处理得到的数据存储到存储单元(12)并发出第一控制信号;所述第二数据处理单元(11)与所述第一数据处理单元(10)连接,用于根据第一控制信号从存储单元读取相应数据;所述存储单元包括状态寄存器,所述第一数据处理单元检测所述状态寄存器中是否存在未被读取的数据帧,根据检测结果产生表征状态寄存器数据位是否...
【专利技术属性】
技术研发人员:王红林,
申请(专利权)人:江苏慧学堂系统工程有限公司,
类型:发明
国别省市:江苏,32
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。