CSV文件生成方法、装置、电子设备和介质制造方法及图纸

本公开提供了一种CSV文件生成方法，可以应用于金融领域或其他领域。该CSV文件生成方法包括：获取N条原始数据，其中，N≥1；将所述N条原始数据切块成M个数据块，其中，M＜N；利用M个线程对所述M个数据块并发执行写入操作，生成中间CSV文件，其中，所述M个线程中的每一个线程对应所述M个数据块中的一个数据块；以及合并所述中间CSV文件，得到目标CSV文件。本公开还提供了一种CSV文件生成装置、设备、存储介质和程序产品。质和程序产品。质和程序产品。

【技术实现步骤摘要】
CSV文件生成方法、装置、电子设备和介质


[0001]本公开涉及数据处理领域，还可用于金融领域或其他领域，更具体地涉及一种CSV文件生成方法、装置、设备、介质和程序产品。

技术介绍

[0002]CSV文件(Comma Separated Values)是一个纯文本格式，采用逗号作为列分隔符，存储数据时支持按标题、记录行进行存储。该文件格式处理文本数据记录时能够支持使用MS Excel、WPS表格等软件识别，具有使用方便、适配性好等特点，因此常使用CSV文件生成的方式做数据导出。目前常用的CSV文件生成方式可以通过包括apache的poi、opencsv在内的开源软件实现，也可以通过各程序语言内置的文件写入程序按CSV格式写入，或者是基于log4j等日志构件进行扩展实现CSV文件的生成。
[0003]在实现本公开构思的过程中，专利技术人发现，目前的CSV生成方式无法支持多线程并发写入。

技术实现思路

[0004]鉴于上述问题，本公开提供了一种CSV文件生成方法、装置、设备、介质和程序产品。
[0005]根据本公开的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种CSV文件生成方法，包括：获取N条原始数据，其中，N≥1；将所述N条原始数据切块成M个数据块，其中，M＜N；利用M个线程对所述M个数据块并发执行写入操作，生成中间CSV文件，其中，所述M个线程中的每一个线程对应所述M个数据块中的一个数据块；以及合并所述中间CSV文件，得到目标CSV文件。2.根据权利要求1所述的方法，其特征在于，所述将所述N条原始数据切块成M个数据块的步骤包括：利用二分法将所述N条原始数据切块成M个数据块，其中，M＝log2N，所述M个数据块中的每个数据块具有不同的数据量。3.根据权利要求2所述的方法，其特征在于，所述合并所述中间CSV文件，得到目标CSV文件的步骤包括：当第一个中间CSV文件生成时，将所述第一个中间CSV文件与初始文档合并，生成中间文档，其中，所述初始文档包括目标CSV文件的标题名；以及依次将下一个中间CSV文件与前一次生成的中间文档合并，直至合并完全部中间CSV文件，以得到目标CSV文件。4.根据权利要求1所述的方法，其特征在于，所述利用M个线程对所述M个数据块并发执行写入操作，生成中间CSV文件的步骤包括：确定单个中间CSV文件的数据量的预设值；和当生成的中间CSV文件的数据量等于所述预设值时，重新生成一个新的中间CSV文件。5.根据权利要求1所述的方法，其特征在于，所述方法还包括：当所述M个线程中出现空闲线程时，确定剩余...

【专利技术属性】
技术研发人员：杨振华，许璟亮，
申请(专利权)人：中国工商银行股份有限公司，
类型：发明
国别省市：