【技术实现步骤摘要】
本说明书的一个或多个实施例涉及计算机网络，具体涉及一种基于大数据管理分析的数据入库方法及系统。
技术介绍
1、数据存储系统可以为承担数据存储和管理任务的电子系统。该系统与数据库进行对接，利用缓存连接池技术，实现对数据的快速读写和高效管理。数据存储系统专注于与数据库的交互，确保数据的完整性、一致性和安全性。
2、相关技术中，数据存储系统一般基于kafka消息订阅机制构建，该机制将数据存储在不同的主题中，生产者可以上传数据至主题中，一个主题中的数据可以被一个或多个消费者所订阅。然而，该方式中的消费者往往需要一个线程、甚至一台机器来实现，这无疑提高了数据获取的成本。
技术实现思路
1、本说明书实施例提供了一种基于大数据管理分析的数据入库方法及系统，其技术方案如下：
2、第一方面，本说明书实施例提供了一种基于大数据管理分析的数据入库方法，应用于数据存储系统，所述数据存储系统中运行有多个akka框架下的数据处理单元和至少一个基于kafka消息订阅机制构建的主题，包括：
...【技术保护点】
1.一种基于大数据管理分析的数据入库方法，应用于数据存储系统，所述数据存储系统中运行有多个Akka框架下的数据处理单元和至少一个基于Kafka消息订阅机制构建的主题，包括：
2.根据权利要求1所述的一种基于大数据管理分析的数据入库方法，
3.根据权利要求1所述的一种基于大数据管理分析的数据入库方法，所述通过数据估算单元对所述待入库数据中的缺失数据进行估算，包括：
4.根据权利要求1所述的一种基于大数据管理分析的数据入库方法，所述数据校验单元存储有预先定义的多条校验规则，所述校验规则包括正则表达式；所述通过数据校验单元对所述待入库数据
【技术特征摘要】
1.一种基于大数据管理分析的数据入库方法，应用于数据存储系统，所述数据存储系统中运行有多个akka框架下的数据处理单元和至少一个基于kafka消息订阅机制构建的主题，包括：
2.根据权利要求1所述的一种基于大数据管理分析的数据入库方法，
3.根据权利要求1所述的一种基于大数据管理分析的数据入库方法，所述通过数据估算单元对所述待入库数据中的缺失数据进行估算，包括：
4.根据权利要求1所述的一种基于大数据管理分析的数据入库方法，所述数据校验单元存储有预先定义的多条校验规则，所述校验规则包括正则表达式；所述通过数据校验单元对所述待入库数据进行校验，包括：
5.根据权利要求1所述的一种基于大数...
【专利技术属性】
技术研发人员：姚青，肖劲，陶永晶，郭建波，周剑波，陆玲玲，孙新豪，
申请(专利权)人：杭州海兴泽科信息技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。