System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 一种数据导出方法、系统及设备技术方案_技高网

一种数据导出方法、系统及设备技术方案

技术编号:41090512 阅读:12 留言:0更新日期:2024-04-25 13:50
本发明专利技术涉及数据处理领域,揭露了一种数据导出方法、系统及设备,其中,所述方法包括:响应于源数据表的数据导出请求,提取所述数据导出请求中的所有导出数据组及每个所述导出数据组对应的导出要求标识;获取预设的导出模板库中每个导出模板的导出模板标识,基于所述导出要求标识及模板标识,筛选每个所述导出数据组的目标导出模板;基于所述导出数据组构建查询语句,利用所有所述查询语句对所述源数据表进行并发查询,得到每个所述导出数据组的导出数据;将所述导出数据组的导出数据填充至该导出数据组的目标导出模板中,以完成所述源数据表的数据导出。本发明专利技术主要目的在于提高了数据导出的效率。

【技术实现步骤摘要】

本专利技术涉及一种数据导出方法、系统及设备,属于数据处理领域。


技术介绍

1、随着实验室需要将进行免疫检测的标本的数量和免疫检测的项目种类,存储的样本检测数据也越来越多,且缺乏相应的数据处理系统,因此,为了了解不同细项的样本量的检测数据清单,需要存储的样本检测数据中相应细项的样本检测数据导出。

2、数据导出方法,需要先查询存储的样本检测数据中需要导出的每个细项的检测数据,然后填充至对应的清单模板,从而完成数据导出,得到不同细项的数据清单。但是现有的数据导出方法需要查询的细项种类较多,需要利用单线程依次查询每个细项的检测数据,从而导致数据导出的效率较低。


技术实现思路

1、本专利技术提供一种数据导出方法、系统及设备,其主要目的在于提高了数据导出的效率。

2、为实现上述目的,本专利技术提供的一种数据导出方法,包括:

3、响应于源数据表的数据导出请求,提取所述数据导出请求中的所有导出数据组及每个所述导出数据组对应的导出要求;

4、获取预设的清单模板库中每个清单模板的清单模板标识,基于所述导出要求,对所述模板标识进行匹配筛选,以筛选每个所述导出数据组对应的清单模板,得到每个所述导出数据组的目标清单模板;

5、计算所述导出数据组的数量,得到导出任务数量,并基于所述导出数据组构建查询语句;

6、获取目标线程池中空闲线程的数量,判断所述空闲线程的数量是否大于或等于所述导出任务数量;

7、当所述空闲线程的数量大于或等于所述导出任务数量,在所述目标线程池中选取所述导出任务数量的空闲线程,得到数据查询线程;

8、当所述空闲线程的数量小于所述导出任务数量,基于所述导出任务数量在所述目标线程池中创建新的线程,并在所述目标线程池中选取所述导出任务数量的空闲线程,得到数据查询线程;

9、启动所有所述数据查询线程,以执行所有所述查询语句对所述源数据表进行并发查询,得到每个所述导出数据组的导出数据;

10、将所述导出数据组的导出数据填充至该导出数据组的目标清单模板中,以完成所述源数据表的数据导出。

11、可选地,所述基于所述导出要求,对所述模板标识进行匹配筛选,以筛选每个所述导出数据组对应的清单模板,得到每个所述导出数据组的目标清单模板,包括:

12、将所述导出要求转化为向量,得到导出要求向量;

13、将所述模板标识转化为向量,得到模板标识向量;

14、基于所述模板标识向量与所述导出要求向量进行计算,得到所述导出要求对应的每个所述模板标识的匹配系数;

15、基于所述匹配系数对所有所述模板标识进行筛选,得到目标模板标识;

16、将所述目标模板标识对应的导出目标确定为所述导出要求对应导出数组的目标清单模板。

17、可选地,所述将所述导出要求转化为向量,得到导出要求向量,包括:

18、将所述导出要求进行分词,并将分词得到的词语确定为第一分词词语;

19、将每个所述第一分词词语转换为向量,得到第一分词词语向量;

20、利用所有所述第一分词词语向量进行向量计算,得到第一要求特征向量;

21、将所述导出要求进行语言翻译转换,得到翻译导出要求;

22、将所述翻译导出要求进行分词,并将分词得到的词语确定为第二分词词语;

23、将所述第二分词词语转换为向量,得到第二分词词语向量;

24、利用所有所述第二分词词语向量进行向量计算,得到第二要求特征向量;

25、将所述第一要求特征向量与所述第二要求特征向量进行横向拼接,得到要求特征矩阵;

26、将所述要求特征矩阵进行降维,得到所述导出要求向量。

27、可选地,所述利用所有所述第一分词词语向量进行向量计算,得到第一要求特征向量,包括:

28、

29、其中,y为所述第一要求特征向量,m为所述第一分词词语向量的总数量,j为所述第一分词词语向量的序号,xj为序号为j的第一分词词语向量。

30、可选地,所述基于所述模板标识向量与所述导出要求向量进行计算,得到所述导出要求对应的每个所述模板标识的匹配系数,包括:

31、

32、其中,ai为导出要求向量a中序号为i的元素,bi为模板标识向量b中序号为i的元素,n为所述导出要求向量及所述模板标识向量的向量维度,i为所述导出要求向量及所述模板标识向量中元素的序号,导出要求向量a为导出要求a对应的导出要求向量,模板标识向量b为模板标识b对应的模板标识向量,p为导出要求a对应的模板标识b的匹配系数。

33、可选地,所述在所述目标线程池中选取所述导出任务数量的空闲线程,得到数据查询线程,包括:

34、获取所述目标线程池中的所有空闲线程及每个所述空闲线程的创建时间;

35、基于所述创建时间的先后将所述目标线程池中的所有空闲线程进行排序,得到空闲线程序列;

36、将所述空闲线程序列中预设排名及其之前的空闲线程确定为所述数据查询线程,其中,所述预设排名的数值与所述导出任务数量的数值相同。

37、可选地,所述基于所述导出任务数量在所述目标线程池中创建新的线程,包括:

38、获取所述目标线程池已创建的线程数量,得到已创建线程数量;

39、获取所述目标线程池的最大线程数;

40、计算所述最大线程数与所述已创建线程数量的差值,得到理论线程创建数量;

41、获取所述目标线程池中空闲线程的数量,得到空闲线程数量;

42、计算所述导出任务数量与所述空闲线程数量的差值,得到实际线程创建数量;

43、判断所述理论线程创建数量是否大于或等于所述实际线程创建数量;

44、当所述理论线程创建数量小于所述实际线程创建数量,基于所述理论线程创建数量及所述实际线程创建数量,对所述目标线程池进行最大线程数的调整更新,并在所述目标线程池中创建新的线程,且创建的新线程的数量大于或等于所述实际线程数量;

45、当所述理论线程创建数量大于或等于所述实际线程创建数量,在所述目标线程池中创建新的线程,且创建的新线程的数量大于或等于所述实际线程数量。

46、可选地,所述对所述目标线程池进行最大线程数的调整更新,包括:

47、计算所述实际线程创建数量与所述理论线程创建数量的差值,得到调整差值;

48、计算所述最大线程数与所述调整差值之和,得到目标调整最大线程数;

49、对所述目标线程池进行最大线程数调整,以使得调整后的最大线程数大于或等于所述目标调整最大线程数。

50、可选地,所述启动所有所述数据查询线程,以执行所有所述查询语句对所述源数据表进行并发查询,得到每个所述导出数据组的导出数据,包括:

51、遍历所有数据查询线程,并为每个所述数据查询线程分配本文档来自技高网...

【技术保护点】

1.一种数据导出方法,其特征在于,所述方法包括:

2.如权利要求1所述的数据导出方法,其特征在于,所述基于所述导出要求,对所述模板标识进行匹配筛选,以筛选每个所述导出数据组对应的清单模板,得到每个所述导出数据组的目标清单模板,包括:

3.如权利要求2所述的数据导出方法,其特征在于,所述将所述导出要求转化为向量,得到导出要求向量,包括:

4.如权利要求3所述的数据导出方法,其特征在于,所述利用所有所述第一分词词语向量进行向量计算,得到第一要求特征向量,包括:

5.如权利要求2所述的数据导出方法,其特征在于,所述基于所述模板标识向量与所述导出要求向量进行计算,得到所述导出要求对应的每个所述模板标识的匹配系数,包括:

6.如权利要求1所述的数据导出方法,其特征在于,所述在所述目标线程池中选取所述导出任务数量的空闲线程,得到数据查询线程,包括:

7.如权利要求1所述的数据导出方法,其特征在于,所述基于所述导出任务数量在所述目标线程池中创建新的线程,包括:

8.如权利要求1所述的数据导出方法,其特征在于,所述对所述目标线程池进行最大线程数的调整更新,包括:

9.如权利要求1至8中任一项所述的数据导出方法,其特征在于,所述启动所有所述数据查询线程,以执行所有所述查询语句对所述源数据表进行并发查询,得到每个所述导出数据组的导出数据,包括:

10.一种数据导出系统,其特征在于,所述系统包括:

11.一种电子设备,其特征在于,所述电子设备包括:至少一种处理器;以及,与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以实现上述所述的数据导出方法。

...

【技术特征摘要】

1.一种数据导出方法,其特征在于,所述方法包括:

2.如权利要求1所述的数据导出方法,其特征在于,所述基于所述导出要求,对所述模板标识进行匹配筛选,以筛选每个所述导出数据组对应的清单模板,得到每个所述导出数据组的目标清单模板,包括:

3.如权利要求2所述的数据导出方法,其特征在于,所述将所述导出要求转化为向量,得到导出要求向量,包括:

4.如权利要求3所述的数据导出方法,其特征在于,所述利用所有所述第一分词词语向量进行向量计算,得到第一要求特征向量,包括:

5.如权利要求2所述的数据导出方法,其特征在于,所述基于所述模板标识向量与所述导出要求向量进行计算,得到所述导出要求对应的每个所述模板标识的匹配系数,包括:

6.如权利要求1所述的数据导出方法,其特征在于,所述在所述目标线程池中选取所述导出任务数量的空...

【专利技术属性】
技术研发人员:何晓英李玲苏坤华李莲莲李云珍郭舒婷
申请(专利权)人:广州金域医学检验中心有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1