本发明专利技术属于流量控制技术领域，公开了一种业务数据采集方法、装置、设备及存储介质。该方法包括：拦截目标终端集群在运行终端业务时发出的请求数据以及待接收的响应数据；获取业务配置信息；根据所述业务配置信息对所述请求数据以及待接收的响应数据进行筛选，得到结构化业务数据，以实现业务数据采集。通过上述方案，实现了在中断业务数据获取过程中实时根据预先设置好的业务配置文件将非结构化的业务数据按照配置内容重组结构得到需要采集的数据内容，让需要采集的数据内容不需要逆向分析这个过程，降低了业务数据采集的成本，提高了采集效率。集效率。集效率。
【技术实现步骤摘要】
业务数据采集方法、装置、设备及存储介质
[0001]本专利技术涉及流量控制
，尤其涉及一种业务数据采集方法、装置、设备及存储介质。
技术介绍
[0002]在移动互联网应用程序内容审核监管的场景下移动应用各种各样，这些呈现的内容非常多、覆盖行业广，需要针对海量移动应用数据内容进行监管。
[0003]一般技术人员都会选择用逆向的手段分析应用的协议进行内容采集，这种效率非常低，可维护性成本高。主要原因为：需要对每个移动应用进行反编译并且正向的还原对应算法或者执行逻辑以识别业务内容，人力成本高、技术门槛高、时间成本高。移动应用版本升级或者更改业务逻辑需要重新逆向分析，维护成本高。
[0004]上述内容仅用于辅助理解本专利技术的技术方案，并不代表承认上述内容是现有技术。
技术实现思路
[0005]本专利技术的主要目的在于提供一种业务数据采集方法、装置、设备及存储介质，旨在解决现有技术目前采集过程中成本过高的技术问题。
[0006]为实现上述目的，本专利技术提供了一种业务数据采集方法，所述方法包括以下步骤:
[0007]拦截目标终端集群在运行终端业务时发出的请求数据以及待接收的响应数据；
[0008]获取业务配置信息；
[0009]根据所述业务配置信息对所述请求数据以及待接收的响应数据进行筛选，得到结构化业务数据，以实现业务数据采集。
[0010]可选的，所述拦截目标终端在运行终端业务时发出的请求数据以及待接收的响应数据之前，包括：
[0011]获取用户操作信息；
[0012]根据所述用户操作信息生成控制指令；
[0013]将所述控制指令发送至目标终端集群，以使所述目标终端集群根据所述控制指令运行终端业务。
[0014]可选的，所述根据所述业务配置信息对所述请求数据以及待接收的响应数据进行筛选，得到结构化业务数据，包括：
[0015]根据所述请求数据以及待接收的响应数据确定业务内容信息；
[0016]根据所述业务配置信息获取业务数据特征和业务数据标签，所述业务数据特征和业务数据标签存在对应关系；
[0017]根据所述业务数据特征从业务内容信息中提取对应的目标业务数据；
[0018]根据所述业务数据标签将所述目标业务数据重构，生成结构化业务数据。
[0019]可选的，所述根据所述业务数据标签将所述目标业务数据重构，生成结构化业务
数据，包括：
[0020]根据所述业务数据标签建立索引表；
[0021]将所述业务数据特征查找对应的目标业务数据，并与索引表相关联生成关联数据；
[0022]根据所述索引表和各关联数据生成结构化业务数据。
[0023]可选的，所述根据所述业务数据特征从业务内容信息中提取对应的目标业务数据，包括：
[0024]根据所述业务数据特征获取特征字段和特征字段对应的截取空间；
[0025]根据所述特征字段和截取空间确定目标业务数据位置信息；
[0026]根据所述目标业务数据位置信息进行数据抽取，得到目标业务数据。
[0027]可选的，所述获取业务配置信息之前，包括：
[0028]通过代理服务器拦截目标应用运行时的流量数据作为样本数据；
[0029]对所述样本数据进行标注得到业务配置信息。
[0030]可选的，所述获取目标应用的流量数据作为样本数据，包括：
[0031]生成虚拟操作空间；
[0032]通过所述虚拟操作空间对目标应用进行操作得到流量数据。
[0033]可选的，所述获取目标应用的流量数据作为样本数据之前，包括：
[0034]获取目标应用的画面信息；
[0035]根据所述画面信息进行操作录制，得到操作录制信息；
[0036]将所述操作录制信息发送至测试终端，以使所述测试终端根据所述操作录制信息完成目标应用的操作，并生成流量数据。
[0037]可选的，所述对所述样本数据进行标注得到业务配置信息，包括：
[0038]获取待采集业务数据需求表；
[0039]根据所述待采集业务数据需求表对样本数据进行标注以确定业务数据特征；
[0040]根据所述业务数据特征确定业务配置信息。
[0041]可选的，所述根据所述待采集业务数据需求表对样本数据进行标注以确定业务数据特征，包括：
[0042]根据所述待采集业务数据需求表对样本数据进行标注得到样本数据；
[0043]根据所述样本数据输入预设特征提取模型，得到业务数据特征。
[0044]此外，为实现上述目的，本专利技术还提出一种业务数据采集装置，所述业务数据采集装置包括：
[0045]控制模块，用于拦截目标终端集群在运行终端业务时发出的请求数据以及待接收的响应数据；
[0046]获取模块，用于获取业务配置信息；
[0047]处理模块，用于根据所述业务配置信息对所述请求数据以及待接收的响应数据进行筛选，得到结构化业务数据，以实现业务数据采集。
[0048]可选的，所述控制模块，还用于获取用户操作信息；
[0049]根据所述用户操作信息生成控制指令；
[0050]将所述控制指令发送至目标终端集群，以使所述目标终端集群根据所述控制指令
运行终端业务。
[0051]可选的，所述处理模块，还用于根据所述请求数据以及待接收的响应数据确定业务内容信息；
[0052]根据所述业务配置信息获取业务数据特征和业务数据标签，所述业务数据特征和业务数据标签存在对应关系；
[0053]根据所述业务数据特征从业务内容信息中提取对应的目标业务数据；
[0054]根据所述业务数据标签将所述目标业务数据重构，生成结构化业务数据。
[0055]可选的，所述处理模块，还用于根据所述业务数据标签建立索引表；
[0056]将所述业务数据特征查找对应的目标业务数据，并与索引表相关联生成关联数据；
[0057]根据所述索引表和各关联数据生成结构化业务数据。
[0058]可选的，所述处理模块，还用于根据所述业务数据特征获取特征字段和特征字段对应的截取空间；
[0059]根据所述特征字段和截取空间确定目标业务数据位置信息；
[0060]根据所述目标业务数据位置信息进行数据抽取，得到目标业务数据。
[0061]可选的，所述获取模块，还用于通过代理服务器拦截目标应用运行时的流量数据作为样本数据；
[0062]对所述样本数据进行标注得到业务配置信息。
[0063]可选的，所述获取模块，还用于生成虚拟操作空间；
[0064]通过所述虚拟操作空间对目标应用进行操作得到流量数据。
[0065]可选的，所述获取模块，还用于获取目标应用的画面信息；
[0066]根据所述画面信息进行操作录制，得到操作录制信息；
[0067]将所述操作录制信息发送至测试终本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种业务数据采集方法，其特征在于，所述业务数据采集方法包括：拦截目标终端集群在运行终端业务时发出的请求数据以及待接收的响应数据；获取业务配置信息；根据所述业务配置信息对所述请求数据以及待接收的响应数据进行筛选，得到结构化业务数据，以实现业务数据采集。2.如权利要求1所述的方法，其特征在于，所述拦截目标终端在运行终端业务时发出的请求数据以及待接收的响应数据之前，包括：获取用户操作信息；根据所述用户操作信息生成控制指令；将所述控制指令发送至目标终端集群，以使所述目标终端集群根据所述控制指令运行终端业务。3.如权利要求1所述的方法，其特征在于，所述根据所述业务配置信息对所述请求数据以及待接收的响应数据进行筛选，得到结构化业务数据，包括：根据所述请求数据以及待接收的响应数据确定业务内容信息；根据所述业务配置信息获取业务数据特征和业务数据标签，所述业务数据特征和业务数据标签存在对应关系；根据所述业务数据特征从业务内容信息中提取对应的目标业务数据；根据所述业务数据标签将所述目标业务数据重构，生成结构化业务数据。4.如权利要求3所述的方法，其特征在于，所述根据所述业务数据标签将所述目标业务数据重构，生成结构化业务数据，包括：根据所述业务数据标签建立索引表；将所述业务数据特征查找对应的目标业务数据，并与索引表相关联生成关联数据；根据所述索引表和各关联数据生成结构化业务数据。5.如权利要求3所述的方法，其特征在于，所述根据所述业务数据...
【专利技术属性】
技术研发人员：张华，张东谊，
申请(专利权)人：北京鸿享技术服务有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。