【技术实现步骤摘要】
本申请涉及人工智能和数据库数据处理，尤其涉及基于多线程并发和插件式向数据库加载数据方法及其设备。
技术介绍
1、随着互联网、物联网和其他数据生成渠道的普及，数据出现爆发式的增长，数据库的应用也变得越来越广泛，而要求加载的数据库数据总量和单个文件的量也越来越大，因此，数据库数据的加载效率是数据库的总体性能的一个非常重要的指标。对于如何快速向数据库加载数据，尤其是针对单个大文件的加载成为数据库领域的一个研究重点。
2、现有技术中，采用多进程进行并发和插件式技术进行数据库数据加载，但该技术存在如下缺陷：1、加载前需要事先指定加载的行数或者进行一次预扫描计算出加载文件的行数，然后并发时根据这个行数计算出每个并发进程的起始偏移量从而进行并发执行，从而降低了数据的处理效率。2、采用多进程并发需要借助共享内存进行数据和进程状态交互，解析进程需要将数据序列化写入共享内存，而写进程需要从共享内存中读取并反序列化，需要进行两次内存拷贝、序列化和反序列化，降低了数据的处理速度。3、该技术方案虽然具体加载功能由服务器插件实现，但同时还存在一个客户端...
【技术保护点】
1.一种基于多线程并发和插件式向数据库加载数据方法，其特征在于，包括下述步骤：
2.根据权利要求1所述的基于多线程并发和插件式向数据库加载数据方法，其特征在于，在所述根据所述配置文件，启动多个解析线程并发对源数据库数据进行解析，并将对应的解析结果组成元组，放入对应的元组队列中的步骤之前，还包括：
3.根据权利要求1所述的基于多线程并发和插件式向数据库加载数据方法，其特征在于，所述数据加载函数包括文件路径导入参数、目标表导入参数以及文件名导入参数，所述根据所述数据加载函数获取配置文件的步骤，具体包括：
4.根据权利要求2所述的基于多线...
【技术特征摘要】
1.一种基于多线程并发和插件式向数据库加载数据方法，其特征在于，包括下述步骤：
2.根据权利要求1所述的基于多线程并发和插件式向数据库加载数据方法，其特征在于，在所述根据所述配置文件，启动多个解析线程并发对源数据库数据进行解析，并将对应的解析结果组成元组，放入对应的元组队列中的步骤之前，还包括：
3.根据权利要求1所述的基于多线程并发和插件式向数据库加载数据方法，其特征在于，所述数据加载函数包括文件路径导入参数、目标表导入参数以及文件名导入参数，所述根据所述数据加载函数获取配置文件的步骤，具体包括：
4.根据权利要求2所述的基于多线程并发和插件式向数据库加载数据方法，其特征在于，所述根据所述配置文件，启动多个解析线程并发对源数据库数据进行解析，并将对应的解析结果组成元组，放入对应的元组队列中的步骤，具体包括：
5.根据权利要求4所述的基于多线程并发和插件式向数据库加载数据方法，其特征在于，在所述将每个解析线程的字段数据分别按配置文件目标表的信息进行重组形成元...
【专利技术属性】
技术研发人员：袁远松，
申请(专利权)人：平安科技深圳有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。