一种网络数据采集方法及系统技术方案

本发明专利技术涉及大数据技术领域。本发明专利技术公开了一种网络数据采集系统，该系统包括服务器，服务器包括：任务下发模块，用于创建用户信息获取任务，将用户信息获取任务分配至不同的任务池，计算任务池优先级，根据任务下发规则，得到并传输具有优先级参数的用户信息获取任务；数据解析模块，与任务下发模块数据连接，用于获取来自中间代理服务端的用户信息流量数据，数据解析模块构建报文解析神经网络模型，将待解析报文信息输入训练后报文解析神经网络模型，判断待解析报文信息中是否包括指定用户信息并提取。通过设置任务优先级，优先处理重要的任务，提高任务处理效率。本公开实施例还公开了一种网络数据采集方法。了一种网络数据采集方法。了一种网络数据采集方法。

A network data acquisition method and system

【技术实现步骤摘要】
一种网络数据采集方法及系统


[0001]本专利技术涉及大数据
，尤其涉及一种网络数据采集方法及系统。

技术介绍

[0002]目前，移动终端已成为用户获取信息的一个主要平台，移动平台使用户更加容易地获取到各种信息，也使得用户对于有用信息的需求大大增加。为了更好地为用户提供信息与服务，移动应用开发商需要获取用户信息，分析用户行为和属性，根据用户的实际需求为用户提供个性化推荐。
[0003]现有技术中，通过对移动应用统计分析平台实时数据需求的分析，提取实时数据需求特点，明确系统设计要点；之后对各项技术及框架进行分析和研究，最终定位技术选型；通过对系统模块化的设计与实现，逐步发现系统缺陷并解决。该方法从实时系统的实时性、可靠性出发，结合实际企业案例移动应用分析平台的具体需求，决策系统流程架构，定位系统技术选型，实现系统架构。
[0004]在实现本公开实施例的过程中，发现相关技术中至少存在如下问题：现有技术中获取用户信息的技术方案效率较低。

技术实现思路

[0005]本公开实施例提供了一种网络数据采集方法及系统，以解决现有技术中对于获取用户信息的技术方案效率较低的技术问题。
[0006]第一方面，提供了一种网络数据采集系统，该网络数据采集系统包括服务器，所述服务器包括：任务下发模块，用于创建用户信息获取任务，将所述用户信息获取任务分配至不同的任务池，计算任务池优先级，根据任务下发规则，得到并传输具有优先级参数的用户信息获取任务；数据解析模块，与所述任务下发模块数据连接，用于获取来自中间代理服务端的用户信息流量数据并将所述用户信息流量数据解析为待解析报文信息，所述数据解析模块构建报文解析神经网络模型，将所述待解析报文信息输入报文解析神经网络模型，判断所述待解析报文信息中是否包括指定用户信息并提取。
[0007]结合第一方面，在第一方面的第一种可能的实现方式中，所述任务下发模块，包括：任务管理部分，用于所述用户信息获取任务的创建和下发；任务空间部分，与所述数据解析模块和所述任务管理部分数据连接，所述任务空间部分包括至少一个任务池，所述任务空间部分用于计算任务池优先级、制定任务下发规则和对所述具有优先级参数的用户信息获取任务进行加密。
[0008]结合第一方面或者第一方面的第一种可能的实现方式，所述数据解析模块，包括：解析通信单元，用于获取并传输来自中间代理服务端的用户信息流量数据；过滤单元，与所述解析通信单元数据连接，用于接收并过滤所述用户信息流量数据，所述过滤单元传输过滤后用户信息流量数据；结构解析单元，与所述过滤单元数据连接，用于获取所述过滤后用户信息流量数据，所述结构解析单元将所述过滤后用户信息流量数据以报文格式树的形式
设置，得到待解析报文信息；深度识别单元，与所述结构解析单元数据连接，所述深度识别单元用于构建报文解析神经网络模型，通过所述报文解析神经网络模型对所述待解析报文信息进行特征提取，判断所述待解析报文信息中是否包括指定用户信息并提取，传输提取的指定用户信息。
[0009]第二方面，还提供了一种网络数据采集系统，该网络数据采集系统包括移动终端，所述移动终端包括：应用控制模块，用于获取来自服务器的具有优先级参数的用户信息获取任务，根据所述具有优先级参数的用户信息获取任务，发送激活指令至中间代理服务端，获取来自所述中间代理服务端反馈的激活答复，在所述中间代理服务端激活成功后将所述具有优先级参数的用户信息获取任务发送至所述中间代理服务端。
[0010]结合第二方面，在第二方面的第一种可能的实现方式中，所述应用控制模块，包括：应用通信单元，用于获取、解密并传输所述具有优先级参数的用户信息获取任务，获取来自所述中间代理服务端反馈的激活成功答复后，将解密且具有优先级参数的用户信息获取任务发送至所述中间代理服务端；应用激活单元，与所述应用通信单元数据连接，用于获取解密具有优先级参数的用户信息获取任务后，发送激活指令至中间代理服务端；任务进程单元，与所述应用通信单元数据连接，用于记录所述解密且具有优先级参数的用户信息获取任务的进程，并将所述进程反馈至所述服务器。
[0011]第三方面，还提供了一种网络数据采集系统，该网络数据采集系统包括：中间代理服务端，所述中间代理服务端包括：中间代理服务模块，用于获取来自移动终端的激活指令并激活后，反馈激活成功答复至所述移动终端，获取来自所述移动终端的具有优先级参数的用户信息获取任务，根据所述具有优先级参数的用户信息获取任务获取用户信息流量数据，将所述用户信息流量数据发送至服务器。
[0012]第四方面，提供了一种网络数据采集方法，该方法包括：步骤S1：创建用户信息获取任务，所述用户信息获取任务包括：应用名称、群组标识符和待解析报文信息类型，根据所述应用名称对所述用户信息获取任务进行分类并计算任务优先级，根据任务下发规则，传输具有优先级参数的用户信息获取任务；步骤S2：根据所述具有优先级参数的用户信息获取任务，获取用户信息流量数据；步骤S3：将所述用户信息流量数据解析为待解析报文信息，通过神经网络模型对待解析报文信息进行特征提取，判断待解析报文信息中是否包括指定用户信息并提取。
[0013]结合第四方面，在第四方面的第一种可能的实现方式中，所述步骤S1进一步包括：步骤S11：通过如下公式计算任务优先级参数：
[0014][0015]其中，Pri
i
表示任务类别i的优先级参数，L表示任务类别i中共有L个任务，taskl
l
表示任务类别i中第l个任务的创建顺序衡量值，w
l
表示第l个任务的权重，ntask
l
表示第l个任务相同内容发布过的次数，a，c均为常数值，由系统随机分配，a，c∈[0，1]，b
t
‑1表示时隙标识符，用于表示不同时间段之间的影响，b
t
＝(a*b
t
‑1)modc，taskp
i
表示任务类别i的映射值，用于区分不同任务池，任务池中任务越多映射值越大，表示向下取整，n
CI
表示指示符
补充值，用于在不同任务池对取余运算时，对进行补充，避免不同任务池的优先级相差过大，mod为取余运算。
[0016]结合第四方面或者第四方面的第一种可能的实现方式，在第四方面的第二种可能的实现方式中，所述步骤S3进一步包括：步骤S31：将所述用户信息流量数据设置为报文格式树的形式，得到所述待解析报文信息，根据所述报文格式树确定解析深度参数；步骤S32：所述神经网络模型对所述待解析报文信息通过激活、循环和封装进行特征提取，利用所述解析深度参数进行深度训练，判断所述待解析报文信息中是否包括指定用户信息并提取。
[0017]结合第四方面，在第四方面的第三种可能的实现方式中，所述步骤S2进一步包括：步骤S21：根据所述应用名称和所述群组标识符找到并加入群组,通过监听相应的地址或端口，获取用户信息流量数据。
[0018]本公开实施例提供的网本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种网络数据采集系统，其特征在于，包括服务器，所述服务器包括：任务下发模块，用于创建用户信息获取任务，将所述用户信息获取任务分配至不同的任务池，计算任务池优先级，根据任务下发规则，得到并传输具有优先级参数的用户信息获取任务；数据解析模块，与所述任务下发模块数据连接，用于获取来自中间代理服务端的用户信息流量数据并将所述用户信息流量数据解析为待解析报文信息，所述数据解析模块构建报文解析神经网络模型，将所述待解析报文信息输入报文解析神经网络模型，判断所述待解析报文信息中是否包括指定用户信息并提取。2.根据权利要求1所述的网络数据采集系统，其特征在于，所述任务下发模块，包括：任务管理部分，用于所述用户信息获取任务的创建和下发；任务空间部分，与所述数据解析模块和所述任务管理部分数据连接，所述任务空间部分包括至少一个任务池，所述任务空间部分用于计算任务池优先级、制定任务下发规则和对所述具有优先级参数的用户信息获取任务进行加密。3.根据权利要求1或2所述的网络数据采集系统，其特征在于，所述数据解析模块，包括：解析通信单元，用于获取并传输来自中间代理服务端的用户信息流量数据；过滤单元，与所述解析通信单元数据连接，用于接收并过滤所述用户信息流量数据，所述过滤单元还用于传输过滤后用户信息流量数据；结构解析单元，与所述过滤单元数据连接，用于获取所述过滤后用户信息流量数据，所述结构解析单元将所述过滤后用户信息流量数据以报文格式树的形式设置，得到待解析报文信息；深度识别单元，与所述结构解析单元数据连接，所述深度识别单元用于构建报文解析神经网络模型，通过所述报文解析神经网络模型对所述待解析报文信息进行特征提取，判断所述待解析报文信息中是否包括指定用户信息并提取，传输提取的指定用户信息。4.一种网络数据采集系统，其特征在于，包括移动终端，所述移动终端包括：应用控制模块，用于获取来自服务器的具有优先级参数的用户信息获取任务，根据所述具有优先级参数的用户信息获取任务，发送激活指令至中间代理服务端，获取来自所述中间代理服务端反馈的激活答复，在所述中间代理服务端激活成功后将所述具有优先级参数的用户信息获取任务发送至所述中间代理服务端。5.根据权利要求4所述的网络数据采集系统，其特征在于，所述应用控制模块，包括：应用通信单元，用于获取、解密并传输所述具有优先级参数的用户信息获取任务，获取来自所述中间代理服务端反馈的激活成功答复后，将具有优先级参数的用户信息获取任务解密并发送至所述中间代理服务端；应用激活单元，与所述应用通信单元数据连接，用于获取解密后的具有优先级参数的用户信息获取任务后，发送激活指令至所述中间代理服务端；任务进程单元，与所述应用通信单元数据连接，用于记录所述解密且具有优先级参数的用户信息获取...

【专利技术属性】
技术研发人员：段东圣，王海洋，时磊，佟玲玲，段运强，任博雅，井雅琪，李真，张旋，田伟裕，王丽萍，
申请(专利权)人：国家计算机网络与信息安全管理中心，
类型：发明
国别省市：