【技术实现步骤摘要】
本专利技术涉及通信领域，尤其是一种超大规模数据库的更新方法及装置。
技术介绍
1、现有的数据库更新方式由于非并行性，处理大规模数据时，非并行性存在的技术障碍：服务器硬件资源消耗难以控制，执行日志难以控制，出现问题难排查。
2、大规模并行处理(massively parallel processing，简称mpp)数据库管理系统通过向服务器分配数据并在多个服务器上运行单独事务进行扩展。为实现高吞吐量和低时延，mpp数据库向多个服务器分配数据和查询。无共享架构通过添加用于集群扩展的新服务器进行扩展。mpp数据库可以通过添加更多的服务器来扩大存储和计算容量。在通过添加服务器进行扩展时，将会向新的服务器分配数据。
技术实现思路
1、为解决现有技术存在的问题，本专利技术提供一种超大规模数据库的更新方法及装置，能处理各种类型的数据，包括结构化、半结构化和非结构化的数据，增强了本专利技术的适用性。
2、为实现上述目的，本专利技术采用下述技术方案：
3、在本专利技术一实施例中，提出了一种超大规模数据库的更新方法，该方法包括：
4、s01、获取数据，从http请求的body中获取数据并生成csv文件保存到服务器上；
5、进一步地，所述s01包括：
6、s011、接收http post请求，创建一个控制器类并注解@postma pping来指定接收post请求的url路径；
7、进一步地，所述s011中控制器类即为类控
8、s012、处理获取的数据，根据获取到数据其转换为csv文件的形式；
9、s013、保存csv文件到服务器，使用java的文件i/o操作或使用spring boot的文件上传功能将文件保存到服务器的特定目录中。
10、s02、数据预处理，对获取的数据进行预处理，包括清洗和格式转换等；
11、进一步地，所述s02中割接前采集流程包括：
12、s021、通过定时任务发起调用，spring boot应用读取csv文件；
13、s022、按照文件行数进行分割，间隔固定行数据分割成一个文件；
14、s023、根据文件名和任务序号生成文件名；
15、s024、针对每个文件生成一个任务；
16、s025、多个任务时形成任务组，批量执行任务组；
17、s026、每个任务进行解析，任务对应的文件更新并入库。
18、s03、数据入库，从本地获取csv文件，解析csv文件并将其存储到mysql数据库中；
19、进一步地，所述数据入库中所有入库的数据，都要添加对应的数据库依赖。
20、进一步地，所述s03包括：
21、s031、在spring boot应用程序中添加mysql数据库的依赖，在pom.xml文件中添加依赖；
22、s032、配置application.properties文件，以提供mysql数据库的连接信息；
23、进一步地，所述s032中application.properties文件为数据库的配置文件。
24、s033、创建一个服务类，处理csv文件的解析和存储。
25、进一步地，所述s033中的服务类为：分割文件的工具类。
26、s04、数据校验，获取每一个任务文件的数据行数，判断入库如数据是否都存在对当前数据。
27、在本专利技术一实施例中，还提出了一种超大规模数据库的更新装置，该装置包括：
28、获取数据模块，从http请求的body中获取数据并生成csv文件保存到服务器上；
29、数据预处理模块，对获取的数据进行预处理，包括清洗和格式转换等；
30、数据入库模块，从本地获取csv文件，解析csv文件并将其存储到mysql数据库中；
31、数据校验模块，获取每一个任务文件的数据行数，判断入库如数据是否都存在对当前数据。
32、在本专利技术一实施例中，还提出了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现前述超大规模数据库的更新方法。
33、在本专利技术一实施例中，还提出了一种计算机可读存储介质，计算机可读存储介质存储有执行超大规模数据库的更新方法的计算机程序。
34、有益效果：
35、本专利技术一种超大规模数据库的更新方法及装置，能处理各种类型的数据，包括结构化、半结构化和非结构化的数据，这增强了系统的适用性；本专利技术采用分布式并行计算，使其在处理大规模数据时显示出高效性；本专利技术引入了数据校验模块，可以在数据库更新过程中提前发现和纠正错误，保证了数据的准确性。
本文档来自技高网...【技术保护点】
1.一种超大规模数据库的更新方法，其特征在于，该方法包括：
2.根据权利要求1所述的超大规模数据库的更新方法，其特征在于，所述S01包括：
3.根据权利要求2所述的超大规模数据库的更新方法，其特征在于，所述S011中控制器类即为类控制，接收请求数据的入口，所述类仅包括接收对应业务参数的方法。
4.根据权利要求1所述的超大规模数据库的更新方法，其特征在于，所述S02中割接前采集流程包括：
5.根据权利要求1所述的超大规模数据库的更新方法，其特征在于，所述S03中数据入库中所有入库的数据，都要添加对应的数据库依赖。
6.根据权利要求1所述的超大规模数据库的更新方法，其特征在于，所述S03包括：
7.根据权利要求6所述的超大规模数据库的更新方法，其特征在于，所述S032中application.properties文件为数据库的配置文件。
8.根据权利要求6所述的超大规模数据库的更新方法，其特征在于，所述S033中的服务类为：分割文件的工具类。
9.一种超大规模数据库的更新装置，其特征在于，
10.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1-8任一项所述方法。
11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有执行权利要求1-8任一项所述方法的计算机程序。
...【技术特征摘要】
1.一种超大规模数据库的更新方法，其特征在于，该方法包括：
2.根据权利要求1所述的超大规模数据库的更新方法，其特征在于，所述s01包括：
3.根据权利要求2所述的超大规模数据库的更新方法，其特征在于，所述s011中控制器类即为类控制，接收请求数据的入口，所述类仅包括接收对应业务参数的方法。
4.根据权利要求1所述的超大规模数据库的更新方法，其特征在于，所述s02中割接前采集流程包括：
5.根据权利要求1所述的超大规模数据库的更新方法，其特征在于，所述s03中数据入库中所有入库的数据，都要添加对应的数据库依赖。
6.根据权利要求1所述的超大规模数据库的更新方法，其特征在于，所述s03包括：<...
【专利技术属性】
技术研发人员：陆道承，
申请(专利权)人：中盈优创资讯科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。