多数据打包方法、装置、电子设备及计算机可读存储介质制造方法及图纸

本发明专利技术涉及数据采集技术，揭露了一种多数据打包方法，包括：提取并解析获取的数据打包请其中的目标数据字段，得到多个数据信息字段和其对应的ip字段；将多个数据信息字段序列化为数据信息列表；利用多线程并行方式ip字段获取多个待打包数据；将多个待打包数据与数据信息列表进行完整性对比，若完整性对比的结果为不完整，利用定时任务根据重新获取多个待打包数据；若完整性对比的结果为完整，对多个待打包数据进行数据打包，得到数据包。此外，本发明专利技术还涉及区块链技术，所述多个待打包数据可存储于区块链的节点。本发明专利技术还提出一种多数据打包装置、电子设备以及计算机可读存储介质。本发明专利技术可以解决多数据打包时的效率及完整度不高的问题。

【技术实现步骤摘要】
多数据打包方法、装置、电子设备及计算机可读存储介质
本专利技术涉及数据采集
，尤其涉及一种多数据打包方法、装置、电子设备及计算机可读存储介质。
技术介绍
随着大数据时代的发展，网络中存在着各种各样的数据，人们常常需要在网络中选择并下载到自己需要的数据，并在下载完成后，将多个数据打包成一份数据包，以实现对数据的一次性获取。目前对多数据进行打包的方式多为：利用数据采集模板按顺序对多份数据进行采集，将采集后的数据发送至预设的数据打包平台进行数据打包，但由于很多场景下人们需要的数据的数据量十分庞大，存储于网络中不同的存储区域中，因此顺序采集的方式会导致数据打包的整体效率不高，不能满足用户对时效性的需求，且对待打包数据进行采集时不能保证采集到的数据的完整性，导致数据打包的完整度不高。
技术实现思路
本专利技术提供一种多数据打包方法、装置及计算机可读存储介质，其主要目的在于解决多数据打包时的效率及完整度不高的问题。为实现上述目的，本专利技术提供的一种多数据打包方法，包括：获取数据打包请求，提取所述数据打包请其中的目标数据字段；对所述目标数据字段进行字段解析，得到多个数据信息字段和所述多个数据信息字段分别对应的ip字段；将所述多个数据信息字段序列化为数据信息列表；利用多线程并行方式、根据所述多个数据信息字段分别对应的ip字段获取多个待打包数据；将所述多个待打包数据与所述数据信息列表进行完整性对比，若所述完整性对比的结果为不完整，利用定时任务重新根据所述多个数据信息字段分别对应的ip字段获取多个待打包数据；若所述完整性对比的结果为完整，对所述多个待打包数据进行数据打包，得到数据包。可选地，所述提取所述数据打包请其中的目标数据字段，包括：遍历所述数据打包请求并确定所述数据打包请其中字段分隔符的位置；根据所述字段分隔符的位置对所述数据打包请求进行字段拆分，得到多个拆分字段；按照拆分顺序将所述多个拆分字段进行序号标注；选取预设序号的拆分字段为所述目标数据字段。可选地，所述对所述目标数据字段进行字段解析，得到多个数据信息字段和所述多个数据信息字段分别对应的ip字段，包括：遍历所述目标数据字段并确定所述目标数据字段中的字段头和字段体；对所述字段体进行反射操作，得到字段方法；根据所述字段方法构建信息提取语句；执行所述信息提取语句提取所述目标数据字段中的多个数据信息字段；对所述字段头进行ip地址解析，得到所述多个数据信息字段分别对应的ip字段。可选地，所述将所述多个数据信息字段序列化为数据信息列表，包括：获取多个序列化处理函数；将所述多个序列化处理函数线性组合为构造函数；利用所述构造函数构造序列化接口；利用所述序列化接口对所述多个数据信息字段进行序列化处理，得到数据信息列表。可选地，所述利用多线程并行方式、根据所述多个数据信息字段分别对应的ip字段获取多个待打包数据，包括：对所述多个数据信息字段分别对应的ip字段进行逻辑测试，得到多个真实ip地址；将所述多个真实ip地址分别编译为多个数据调用语句；同时执行所述多个数据调用语句，得到多个待打包数据。可选地，所述对所述多个数据信息字段分别对应的ip字段进行逻辑测试，得到多个真实ip地址，包括：将所述ip字段进行逻辑测试，得到逻辑测试值；当所述逻辑测试值与预设逻辑阈值相同时，确定所述ip字段经过转发，对所述ip字段进行源地址追踪，得到真实ip地址；当所述逻辑测试值与预设逻辑阈值不同时，确定所述ip字段未经过转发，确定所述ip字段为真实ip地址。可选地，所述对所述多个待打包数据进行数据打包，得到数据包，包括：对所述多个待打包数据进行数据格式标准化，得到标准化数据；对所述标准化数据进行数据打包，得到数据包。为了解决上述问题，本专利技术还提供一种多数据打包装置，所述装置包括：字段提取模块，用于获取数据打包请求，提取所述数据打包请其中的目标数据字段；字段解析模块，用于对所述目标数据字段进行字段解析，得到多个数据信息字段和所述多个数据信息字段分别对应的ip字段；序列化模块，用于将所述多个数据信息字段序列化为数据信息列表；数据获取模块，用于利用多线程并行方式、根据所述多个数据信息字段分别对应的ip字段获取多个待打包数据；完整性对比模块，用于将所述多个待打包数据与所述数据信息列表进行完整性对比，若所述完整性对比的结果为不完整，利用定时任务重新根据所述多个数据信息字段分别对应的ip字段获取多个待打包数据；数据打包模块，用于若所述完整性对比的结果为完整，对所述多个待打包数据进行数据打包，得到数据包。为了解决上述问题，本专利技术还提供一种电子设备，所述电子设备包括：存储器，存储至少一个指令；及处理器，执行所述存储器中存储的指令以实现上述所述的多数据打包方法。为了解决上述问题，本专利技术还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一个指令，所述至少一个指令被电子设备中的处理器执行以实现上述所述的多数据打包方法。本专利技术实施例通过提取并解析数据打包请其中的目标数据字段，以获得多个数据信息字段和数据信息字段对应的ip字段，可实现通过数据打包请求确定多个待打包数据，有利于提高对数据进行打包的完整性；利用多线程并行方式根据多个数据信息字段分别对应的ip字段获取多个待打包数据，避免了顺序地对多个待打包数据进行逐个获取，提高了数据打包的效率；将多个数据信息字段序列化为数据信息列表，将多个待打包数据与所述数据信息列表进行完整性对比，可通过对比确定获取到的待打包数据的完整性，防止打包时数据的缺漏。因此本专利技术提出的多数据打包方法、装置、电子设备及计算机可读存储介质，可以解决多数据打包时的效率及完整度不高的问题。附图说明图1为本专利技术一实施例提供的多数据打包方法的流程示意图；图2为本专利技术一实施例提供的多数据打包装置的功能模块图；图3为本专利技术一实施例提供的实现所述多数据打包方法的电子设备的结构示意图。本专利技术目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。具体实施方式应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。本申请实施例提供一种多数据打包方法。所述多数据打包方法的执行主体包括但不限于服务端、终端等能够被配置为执行本申请实施例提供的该方法的电子设备中的至少一种。换言之，所述多数据打包方法可以由安装在终端设备或服务端设备的软件或硬件来执行，所述软件可以是区块链平台。所述服务端包括但不限于：单台服务器、服务器集群、云端服务器或云端服务器集群等。参照图1所示，为本专利技术一实施例提供的多数据打包方法的流程示意图。在本实施例中，所述多数据打包方法包括：S1、获取数据打包本文档来自技高网...

【技术保护点】
1.一种多数据打包方法，其特征在于，所述方法包括：/n获取数据打包请求，提取所述数据打包请其中的目标数据字段；/n对所述目标数据字段进行字段解析，得到多个数据信息字段和所述多个数据信息字段分别对应的ip字段；/n将所述多个数据信息字段序列化为数据信息列表；/n利用多线程并行方式、根据所述多个数据信息字段分别对应的ip字段获取多个待打包数据；/n将所述多个待打包数据与所述数据信息列表进行完整性对比，若所述完整性对比的结果为不完整，利用定时任务重新根据所述多个数据信息字段分别对应的ip字段获取多个待打包数据；/n若所述完整性对比的结果为完整，对所述多个待打包数据进行数据打包，得到数据包。/n

【技术特征摘要】
1.一种多数据打包方法，其特征在于，所述方法包括：
获取数据打包请求，提取所述数据打包请其中的目标数据字段；
对所述目标数据字段进行字段解析，得到多个数据信息字段和所述多个数据信息字段分别对应的ip字段；
将所述多个数据信息字段序列化为数据信息列表；
利用多线程并行方式、根据所述多个数据信息字段分别对应的ip字段获取多个待打包数据；
将所述多个待打包数据与所述数据信息列表进行完整性对比，若所述完整性对比的结果为不完整，利用定时任务重新根据所述多个数据信息字段分别对应的ip字段获取多个待打包数据；
若所述完整性对比的结果为完整，对所述多个待打包数据进行数据打包，得到数据包。


2.如权利要求1所述的多数据打包方法，其特征在于，所述提取所述数据打包请其中的目标数据字段，包括：
遍历所述数据打包请求并确定所述数据打包请其中字段分隔符的位置；
根据所述字段分隔符的位置对所述数据打包请求进行字段拆分，得到多个拆分字段；
按照拆分顺序将所述多个拆分字段进行序号标注；
选取预设序号的拆分字段为所述目标数据字段。


3.如权利要求1所述的多数据打包方法，其特征在于，所述对所述目标数据字段进行字段解析，得到多个数据信息字段和所述多个数据信息字段分别对应的ip字段，包括：
遍历所述目标数据字段并确定所述目标数据字段中的字段头和字段体；
对所述字段体进行反射操作，得到字段方法；
根据所述字段方法构建信息提取语句；
执行所述信息提取语句提取所述目标数据字段中的多个数据信息字段；
对所述字段头进行ip地址解析，得到所述多个数据信息字段分别对应的ip字段。


4.如权利要求1所述的多数据打包方法，其特征在于，所述将所述多个数据信息字段序列化为数据信息列表，包括：
获取多个序列化处理函数；
将所述多个序列化处理函数线性组合为构造函数；
利用所述构造函数构造序列化接口；
利用所述序列化接口对所述多个数据信息字段进行序列化处理，得到数据信息列表。


5.如权利要求1至4中任一项所述的多数据打包方法，其特征在于，所述利用多线程并行方式、根据所述多个数据信息字段分别对应的ip字段获取多个待打包数据，包括：
对所述多个数据信息字段分别对应的ip字段进行逻辑测试，...

【专利技术属性】
技术研发人员：罗胜友，李晨，
申请(专利权)人：平安银行股份有限公司，
类型：发明
国别省市：广东;44