一种数据采集方法及半封闭网络数据采集系统技术方案

本申请提供一种数据采集方法及半封闭网络数据采集系统，服务端通过发送包含结构化数据源定义、非结构化文件路径及动态分片阈值的SM2加密指令，驱动客户端执行混合数据采集；客户端将结构化数据转换为ORC列式格式、非结构化文件按阈值分片后，采用SM4加密内存处理生成密文分片，并附加SM3摘要及SM2数字签名形成加密数据包回传；服务端通过公钥解密SM2数字签名核验客户端身份合法性，并重新计算解密后分片的SM3摘要进行完整性校验，最终按分片编号重组ORC数据并解密存储。该方法通过端到端数据安全防护，结合ORC列式存储的动态分片机制，在保证数据完整性的同时，提升了传输效率，且支持结构化与非结构化数据的统一高效处理。

【技术实现步骤摘要】

本申请涉及网络安全，具体而言，涉及一种数据采集方法及半封闭网络数据采集系统。

技术介绍

1、在数字化转型的浪潮中，数据采集技术作为信息系统的核心环节，面临着安全性、效率性及异构数据处理能力等多重挑战。

2、传统采集系统难以同时高效处理结构化数据（如数据库表）与非结构化数据（如日志文件、图像）。结构化数据通常采用sql查询直接获取，而非结构化数据需要独立分片传输，导致采集流程割裂、资源重复消耗。此外，现有分片策略多为固定阈值，无法根据网络环境动态调整，易造成传输延迟或带宽浪费。

技术实现思路

1、本申请实施例的目的在于提供一种数据采集方法及半封闭网络数据采集系统，用以通过定义结构化数据源（数据库/表/字段）与非结构化路径（文件系统正则表达式）的采集指令，实现双模态数据统一调度。

2、本申请实施例提供的一种数据采集方法，应用于服务端，包括：

3、向客户端发送加密采集任务指令，加密采集任务指令包含结构化数据源定义、非结构化文件路径及分片阈值，以使客户端按预设规则采集数据；

本文档来自技高网...

【技术保护点】

1.一种数据采集方法，其特征在于，应用于服务端，包括：

2.根据权利要求1所述的方法，其特征在于，所述加密采集任务指令的生成步骤包括：

3.根据权利要求1所述的方法，其特征在于，所述SM2数字签名的生成方法包括：

4.根据权利要求1所述的方法，其特征在于，所述ORC格式数据分片的加密过程，包括：

5.根据权利要求1-4任一项所述的方法，其特征在于，客户端监测到传输失败时，自动切换备用端口重传，重试间隔按指数退避算法递增；服务端记录分片接收状态，对缺失分片生成增量任务指令，优先补传缺失部分。

6.一种数据采集方法，其特征在于，应用...

【技术特征摘要】

1.一种数据采集方法，其特征在于，应用于服务端，包括：

2.根据权利要求1所述的方法，其特征在于，所述加密采集任务指令的生成步骤包括：

3.根据权利要求1所述的方法，其特征在于，所述sm2数字签名的生成方法包括：

4.根据权利要求1所述的方法，其特征在于，所述orc格式数据分片的加密过程，包括：

5.根据权利要求1-4任一项所述的方法，其特征在于，客户端监测到传输失败时，自动切换备用端口重传，重试间隔按指数退避算法递增；服务端记录分片接收状态，对缺失分片生成增量任务指令，优先补传缺失部分。

6.一种数据采集方法，其特征...

【专利技术属性】
技术研发人员：项程程，翟光辉，李晓辰，张宇洁，郭琳，张展，王欣，李华，
申请(专利权)人：农业农村部大数据发展中心，
类型：发明
国别省市：