数据批量值调整方法、装置、可读存储介质和设备制造方法及图纸

本申请涉及一种数据批量值调整方法、装置、计算机可读存储介质和计算机设备，所述方法包括：按照数据批量处理方式对样本数据进行分批测量，获得测量结果；判断测量结果是否符合预设评估条件；当测量结果不符合预设评估条件时，则对数据批量处理方式中的批量值进行调整，得到目标数据批量处理方式；当按照目标数据批量处理方式中的批量值对样本数据进行分批测量所得的测量结果符合预设评估条件时，则将目标数据批量处理方式作为最终的数据批量处理方式。本申请提供的方案可以实现动态调整数据批量处理方式中的数据分批数量，提升数据分批执行效率。

Data batch value adjustment method, device, readable storage medium and device

【技术实现步骤摘要】
数据批量值调整方法、装置、可读存储介质和设备
本申请涉及数据处理
，特别是涉及一种数据批量值调整方法、装置、计算机可读存储介质和计算机设备。
技术介绍
随着互联网技术的发展，出现了数据分批处理技术，对于大批量的数据进行分批，然后通过调用服务接口对分批后的数据进行处理，通过确定最佳批量值可以实现服务接口充分利用服务接口的分散效力，提高数据处理效率。传统的数据分批处理方案中，在对数据进行批量处理时，采用固定的批量值对数据进行分批，然后通过调用服务接口进行对分批后的数据进行处理。然而，当处理数据的服务器的性能发生变化，采用固定的批量值对数据进行分批处理，将会影响数据的处理效率。
技术实现思路
基于此，有必要针对数据分批执行效率较低的技术问题，提供一种数据批量值调整方法、装置、计算机可读存储介质和计算机设备。一种数据批量值调整方法，包括：按照数据批量处理方式对样本数据进行分批测量，获得测量结果；判断所述测量结果是否符合预设评估条件；当所述测量结果不符合预设评估条件时，则对所述数据批量处理方式中的批量值进行调整，得到目标数据批量处理方式；当按照所述目标数据批量处理方式中的批量值对所述样本数据进行分批测量所得的测量结果符合所述预设评估条件时，则将所述目标数据批量处理方式作为最终的数据批量处理方式。一种数据批量值调整装置，其特征在于，所述装置包括：分批测量模块，用于按照数据批量处理方式对样本数据进行分批测量，获得测量结果；判断模块，用于判断所述测量结果是否符合预设评估条件；调整模块，用于当所述测量结果不符合预设评估条件时，则对所述数据批量处理方式中的批量值进行调整，得到目标数据批量处理方式；确定模块，用于当按照所述目标数据批量处理方式中的批量值对所述样本数据进行分批测量所得的测量结果符合所述预设评估条件时，则将所述目标数据批量处理方式作为最终的数据批量处理方式。一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行所述数据批量值调整方法的步骤。一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行所述数据批量值调整方法的步骤。上述数据批量值调整方法、装置、计算机可读存储介质和计算机设备，按照数据批量处理方式对样本数据进行分批测量，获得测量结果；判断所述测量结果是否符合预设评估条件；当所述测量结果不符合预设评估条件时，则对所述数据批量处理方式中的批量值进行调整，得到目标数据批量处理方式；当按照所述目标数据批量处理方式中的批量值对所述样本数据进行分批测量所得的测量结果符合所述预设评估条件时，则将所述目标数据批量处理方式作为最终的数据批量处理方式。根据数据库数据量抽取样本数据进行测量，只依靠测量结果作为运行性能指标自动完成数据批量值调整，就能确定最佳批量值，实现动态调整数据批量处理方式中的数据分批数量，提升数据分批执行效率。附图说明图1为一个实施例中数据批量值调整方法的应用环境图；图2为一个实施例中数据批量值调整方法的流程示意图；图3为一个实施例中数据批量值调整步骤的流程示意图；图4为一个实施例中数据批量值调整步骤的流程示意图；图5a为一个实施例中数据批量值调整步骤的流程示意图；图5b为一个实施例中数据批量值调整步骤的流程示意图；图6为一个实施例中数据批量值调整方法的流程示意图；图7为一个实施例中数据批量值调整装置的结构框图；图8为另一个实施例中数据批量值调整装置的结构框图；图9为一个实施例中计算机设备的结构框图。具体实施方式为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。图1为一个实施例中数据批量值调整方法的应用环境图。参照图1，该数据批量值调整方法应用于数据批量值调整系统。该数据批量值调整系统包括终端110、服务器120和数据库130。终端110和服务器120通过网络连接，服务器120和数据库130通过网络连接。终端110具体可以是台式终端或移动终端，移动终端具体可以手机、平板电脑、笔记本电脑等中的至少一种。服务器120可以用独立的服务器或者是多个服务器组成的服务器集群来实现。数据库130存储数据并筛选出样本数据。服务器120按照数据批量处理方式对各组样本数据进行分批测量，获得测量结果；判断测量结果是否符合预设评估条件；当测量结果不符合预设评估条件时，则对数据批量处理方式中的批量值进行调整，得到目标数据批量处理方式；当按照目标数据批量处理方式中的批量值对样本数据进行分批测量所得的测量结果符合预设评估条件时，则将目标数据批量处理方式作为最终的数据批量处理方式。服务器120将测量结果与批量值调整过程生成方案策略记录表发送给终端110，终端110对方案策略记录表进行显示。如图2所示，在一个实施例中，提供了一种数据批量值调整方法。本实施例主要以该方法应用于上述图1中的服务器120来举例说明。参照图2，该数据批量值调整方法具体包括如下步骤：S202，按照数据批量处理方式对样本数据进行分批测量，获得测量结果。在一个实施例中，服务器从数据库中获取样本数据，可以按照数据特征对样本数据进行分批，相同批次的样本数据的数据特征相同，不同批次的样本数据的数据特征可以相同也可以不同。其中，各样本数据的数据特征是稳定不变的。在另一个实施例中，服务器可以通过一个或多个微服务接口接收终端发送过来的样本数据，确定所接收样本数据的总条数，然后对样本数据进行分批测量，获得测量样本数据的总耗时、分批数和各分批样本数据测量的平均耗时等，根据总耗时、分批数和各分批样本数据测量的平均耗时可以得到测试结果。其中，并行的微服务接口数量越多，对应微服务系统的服务器也越多，那么，样本数据的批量值越小，每个微服务接口执行的数据量越少，数据处理效率越高。微服务系统是一个独立运行、自带数据存储管理，对外提供接口的自治系统，可以解决单体应用的压力问题，提高数据处理效率。分批数可以是对数据进行分批的批数。批量值可以是数据分批后，关于各批数据的数据条数。例如总共有500条数据，然后对这500条数据进行分批，假设将500条数据分成5批，则每批有100条数据，那么，分批数即为5，批量值为100。在一个实施例中，在按照数据批量处理方式进行分批测量时，服务器可以进行至少一次测量。具体地，服务器在每次进行测量时，可以获取不同样本数据进行分批测量，也可以对相同样本数据进行至少一次分批测量。其中，测量结果受运行环境和微服务接口性能等因素影响。分批测量的准确度与分批测量的执行次数成正比关系，分批测量的执行次数越多，测量结果误差越小，测量结果越准确。在一个实施例中，运行性能指标可以是估算效率。获取各执行次数本文档来自技高网...

【技术保护点】
1.一种数据批量值调整方法，包括：/n按照数据批量处理方式对样本数据进行分批测量，获得测量结果；/n判断所述测量结果是否符合预设评估条件；/n当所述测量结果不符合预设评估条件时，则对所述数据批量处理方式中的批量值进行调整，得到目标数据批量处理方式；/n当按照所述目标数据批量处理方式中的批量值对所述样本数据进行分批测量所得的测量结果符合所述预设评估条件时，则将所述目标数据批量处理方式作为最终的数据批量处理方式。/n

【技术特征摘要】
1.一种数据批量值调整方法，包括：
按照数据批量处理方式对样本数据进行分批测量，获得测量结果；
判断所述测量结果是否符合预设评估条件；
当所述测量结果不符合预设评估条件时，则对所述数据批量处理方式中的批量值进行调整，得到目标数据批量处理方式；
当按照所述目标数据批量处理方式中的批量值对所述样本数据进行分批测量所得的测量结果符合所述预设评估条件时，则将所述目标数据批量处理方式作为最终的数据批量处理方式。


2.根据权利要求1所述的方法，其特征在于，所述按照数据批量处理方式对样本数据进行分批测量，获得测量结果，包括：
获取样本数据；
按照数据批量处理方式对所述样本数据进行分批，得到多批样本数据；
将所述多批样本数据通过多个线程进行测量，获得测量结果。


3.根据权利要求1所述的方法，其特征在于，所述按照数据批量处理方式对样本数据进行分批测量，获得测量结果，包括：
按照数据批量处理方式对样本数据进行分批测量，得到总耗时；
确定所述样本数据的总条数；
根据所述总条数和所述总耗时计算运行性能指标；
将所述运行性能指标确定为测量结果。


4.根据权利要求1所述的方法，其特征在于，所述按照数据批量处理方式对样本数据进行分批测量，获得测量结果，包括：
按照数据批量处理方式对样本数据进行分批测量，得到分批数和各分批测量的平均耗时；
根据所述分批数和所述平均耗时计算运行性能指标；
将所述运行性能指标确定为测量结果。


5.根据权利要求1所述的方法，其特征在于，所述对所述数据批量处理方式中的批量值进行调整，包括：
获取用于调整批量值的步进值或步进率；
根据所述步进值或所述步进率，调整所述数据批量处理方式中的批量值。


6.根据权利要求1所述的方法，其特征在于，还包括：
当按照所述目标数据批量处理方式中的批量值对所述样本数据进行...

【专利技术属性】
技术研发人员：郑鸿建，
申请(专利权)人：金蝶软件中国有限公司，
类型：发明
国别省市：广东;44