一种基于互联网数据采集的方法技术

本发明专利技术公开了一种基于互联网数据采集的方法，该方法代理服务器部署在各个子网上，按照统一的格式，实时或定时的进行“拉入”操作；将采集到的行为数据封装、打包、存入数据仓库；在获得初始数据之后，还需要对数据进行关联处理和归一化处理，将采集到的数据转换为易于分析处理的数据形式；关联处理和归一化处理主要步骤分为去噪、关联、标记三个过程。该方法以高校学生的行为科学和行为理论为基础，引入代理服务器(Agent)、对应分析法等关键技术，构建了采集和保存互联网数字学习行为信息平台。

【技术实现步骤摘要】

本专利技术属于一种信息管理
，涉及。
技术介绍
计算机网络技术和多媒体技术的快速发展，直接推动着现代教学朝网络化、数字化的方向不断转变，极大的丰富了我们的学习资源和学习手段。同时，这种转变所带来的机遇与挑战也吸引了国内外广大学者的关注，促成了互联网数字学习行为新概念的提出以及 OCff, OLI等学术或商业的教学产品的研制成功。目前，对互联网数字学习行为的研究大都集中在数字学习的相关理论研究，即对互联网数字学习环境下的参与者成员关系以及成员活动规律进行研究，从而为学习资源的有效利用提供理论依据；互联网数字学习平台的构建，即研究如何在相关理论的基础上，使用现有技术将学习资源进行整合，从而方便用户学习使用，并通常提供一定的反馈机制；数字学习与新领域的交叉结合，即研究如何将数字学习与其他领域的现有技术相结合，从而为数字学习平台系统的构建提供技术支持。由此可见，数字学习研究重点也逐渐从学习平台、资源的开发转向学习行为的信息采集、保存、分析上。尤其是互联网环境下学生的数字学习行为变得越来越个性化、虚拟化、协作化，呈现出与传统学习完全不同的特性。对学生学习行为进行深入全面地研究，有利于本文档来自技高网...

【技术保护点】
１．一种基于互联网数据采集的方法，该方法基于ＴＣＰ／ＩＰ的可编程系统，该系统开发出操作系统的代理程序，代理系统驻留在目标系统中，监视驻留系统中发生的各类事件，并对不同类型的数据进行采集；它还可修改代理服务器的配置，控制采集的数据类型；数据类型包括基于硬件网关型数据、基础资源型数据、数据库访问型数据、网站访问型数据；其特征在于：代理服务器部署在各个子网上，按照统一的格式，实时或定时的进行“拉入”操作；将采集到的行为数据封装、打包、存入数据仓库；在获得初始数据之后，还需要对数据进行关联处理和归一化处理，将采集到的数据转换为易于分析处理的数据形式；关联处理和归一化处理主要步骤分为去噪、关联、标记三个...

【技术特征摘要】
1.一种基于互联网数据采集的方法，该方法基于TCP/IP的可编程系统，该系统开发出操作系统的代理程序，代理系统驻留在目标系统中，监视驻留系统中发生的各类事件，并对不同类型的数据进行采集；它还可修改代理服务器的配置，控制采集的数据类型；数据类型包括基于硬件网关型数据、基础资源型数据、数据库访问型数据、网站访问型数据；其特征在于代理服务器部署在各个子网上，按照统一的格式，实时或定时的进行“拉入”操作；将采集到的行为数据封装、打包、存入数据仓库；在获得初始数据之后，还需要对数据进行关联处理和归一化处理，将采集到的数据转换为易于分析处理的数据形式；关联处理和归一化处理主要步骤分为去噪、关联、标记三个过程。2.根据权利要求1所述的基于互联网数据采集的方法，其特征在于该数据采集方法包括客户端数据产生及代理服务器的数据采集处理；客户端数据产生包括以下步骤(1)客户端启动，运行程序；(2)与服务器端进行连接；(3)向服务器发送校验代码，在服务器端注册此客户端；(4)校验机器时间；(5)客户端向操作系统注册窗口监听器、进程活动监听器以及网络监听器；(6)运行监听器；(7)一旦客户端得到指定类型的活动后，就按指定类型的活动方式采集用户数字学习行为的详细信息，并记录到客户端缓存，进入步骤(8)；(8)如果监听器运行超过指定时间，则向服务器端发送用户活动记录，发送成功后，清空已发送信息的缓存记录；服务器端工作流程(1)服务器端程序启动；(2)程序初始化，包括校验时间、加载客户机身份校验数据、网络可用性校验；(3)启动服务，开启数据接收端口，准备接受客户端数据；(4)循环检验客户端发送数据请求，一旦检验到请求，则交付步骤( 处理；(5)检验客户端合法性，如果合法，交付步骤(6)处理；(6)服务器端接受数据；(7)服务器端获得数据之后，还需要对数据...

【专利技术属性】
技术研发人员：沈重，杜文才，程启凯，
申请(专利权)人：海南大学，
类型：发明
国别省市：66