用于数据打包的方法、装置及电子设备制造方法及图纸

本公开提供一种用于数据打包的方法、装置及电子设备。所述方法包括：根据上一次触发时间和频度触发相应的定时任务；从数据库中抽取所述定时任务对应的待打包数据集；根据所述定时任务的策略参数获取相应的打包策略；根据所述打包策略对所述待打包数据集执行打包调度作业，完成所述待打包数据集的打包。本公开通过上一次触发时间和频度触发定时任务，获取定时任务的待打包数据集，根据预设的打包策略对该待打包数据集进行打包，从而可以实现数据的可配置化打包。

Method, device and electronic device for data packaging

The present disclosure provides a method, an apparatus, and an electronic device for data packaging. The method comprises: according to a trigger time and trigger timing frequency of the corresponding task; extracted from the database of the corresponding timed tasks to be packed data set; obtaining corresponding packing strategy according to the strategy parameter of the timing task; according to the strategy of the package to be packed data set packaging scheduling complete, the packed data set. The public through a trigger time and frequency trigger timing task, get the timing task to be packed data set, according to the strategy of the package to be packed data set package preset, which can achieve data configurable package.

【技术实现步骤摘要】
用于数据打包的方法、装置及电子设备
本公开涉及计算机
，尤其涉及一种用于数据打包的方法、装置及电子设备。
技术介绍
现有的资金平台(例如，公司针对财务交易处理、财务核对，使得交易透明化、自动化的平台，有效缩短了公司的资金交易处理时间及成本，同时经过该系统也加强了资金的监管)与各银行及第三方支付进行交易传输(包括实时、批处理的收付款交易，异步的交易结果查询等)时，至少存在以下问题：1、使用TaskTimer创建的任务对象，由于任务的频度及触发时间固定配置在XML文件中，只能配置简单的周期任务。当项目实施中新建任务时，需更改任务周期、更改XML配置、重新加载服务，此类工作非常繁琐且不利于项目长期运维及实施支持。2、数据分类的策略组是全数据共享的，不能为指定的数据集合单独配置策略组，如有数据集合要用不同的策略组，只能在代码里增加特殊规则。3、数据首次分包后，后续的工作，都是放在KEY命名的流程处理类中完成的。每个流程类都配置了处理该包所需的自定义参数，这种面向过程式的写法，如新增渠道都是把原有的流程类COPY一份，涂涂改改，积累了大量冗余的代码，非常不方便维护。因此，需要一种改进的用于数据打包的方法、装置及电子设备。
技术实现思路
为克服相关技术中存在的问题，本公开提供一种用于数据打包的方法、装置及电子设备，实现对定时任务指定范围内的数据集进行打包。根据本公开实施例的第一方面，提供一种用于数据打包的方法，包括：根据上一次触发时间和频度触发相应的定时任务；从数据库中抽取所述定时任务对应的待打包数据集；根据所述定时任务的策略参数获取相应的打包策略；根据所述打包策略对所述待打包数据集执行打包调度作业，完成所述待打包数据集的打包。在本公开的一种示例性实施例中，根据上一次触发时间和频度触发相应的定时任务包括：将所述定时任务的上一次触发时间和频度存储于所述数据库中；根据所述上一次触发时间和所述频度获得所述定时任务的下一次触发时间；进行时间监控，当当前时间等于所述下一次触发时间时，触发所述定时任务。在本公开的一种示例性实施例中，所述方法还包括：根据业务需求，为所述待打包数据集创建打包调度器；通过所述打包调度器的页面创建所述定时任务及其打包分组策略参数、初始触发时间和频度并保存于所述数据库中。在本公开的一种示例性实施例中，所述打包调度器为QuartzJob打包调度器。在本公开的一种示例性实施例中，所述打包策略包括分包策略、拆包策略和包命名策略。在本公开的一种示例性实施例中，所述包命名策略包括序列重置策略。在本公开的一种示例性实施例中，根据所述打包策略对所述待打包数据集执行打包调度作业，完成所述待打包数据集的打包包括：根据所述打包分组策略参数，将具有相同分包策略的所述待打包数据集中的数据分配至同一数据包中；遍历所述待打包数据集完成所述待打包数据集的分包。在本公开的一种示例性实施例中，根据所述打包分组策略参数，将具有相同分包策略的所述待打包数据集中的数据分配至同一数据包中包括：将所述打包分组策略参数封装在HashMap中，并传递至所述定时任务；将所述打包分组策略参数组成分包策略key；将具有相同分包策略key的所述待打包数据集中的数据放在同一数据包中。在本公开的一种示例性实施例中，根据所述打包策略对所述待打包数据集执行打包调度作业，完成所述待打包数据集的打包还包括：根据所述拆包策略对分包后的数据包进行拆包。在本公开的一种示例性实施例中，根据所述拆包策略对分包后的数据包进行拆包包括：根据待发送渠道要求，将数据包的最大笔数限制配置在所述数据库中；初始化时将配置在所述数据库中的数据包的最大笔数限制加载在缓存中；拆包时根据所述打包分组策略参数，在所述缓存中取出相应数据包的最大笔数限制，对所述数据包进行拆包处理。在本公开的一种示例性实施例中，根据所述打包策略对所述待打包数据集执行打包调度作业，完成所述待打包数据集的打包还包括：根据所述包命名策略对拆包后的数据包创建包号。在本公开的一种示例性实施例中，根据所述包命名策略对拆包后的数据包创建包号包括：根据所述打包分组策略参数，在所述数据库中配置命名策略参数、输出规则、拼接顺序以及序列重置策略；读取所述序列重置策略，判断自定义序列是否需要重置；根据所述拼接顺序，依次读取命名规则，将各命名规则输出字符串拼接成完整的包号。在本公开的一种示例性实施例中，所述包号的命名规则根据待发送渠道要求制定，其包括文件名和/或报文的流水号。在本公开的一种示例性实施例中，将打包完成的数据包返回至所述数据库中进行存储。根据本公开实施例的第二方面，提供一种用于数据打包的装置，包括：任务触发模块，用于根据上一次触发时间和频度触发相应的定时任务；数据抽取模块，用于从数据库中抽取所述定时任务对应的待打包数据集；打包策略获取模块，用于根据所述定时任务的策略参数获取相应的打包策略；打包调度模块，用于根据所述打包策略对所述待打包数据集执行打包调度作业，完成所述待打包数据集的打包。根据本公开实施例的第三方面，提供一种电子设备，包括：处理器；以及存储器，用于存储所述处理器的可执行指令；其中，所述处理器被配置为执行上述任意一项所述的用于数据打包的方法。本公开示例实施方式中的用于数据打包的方法、装置及电子设备，通过上一次触发时间和频度触发定时任务，获取定时任务的待打包数据集，根据预设的打包策略对该待打包数据集进行打包，从而可以实现数据的可配置化打包。附图说明此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本专利技术的实施例，并与说明书一起用于解释本专利技术的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1是根据一示例性实施例示出的一种用于数据打包的方法的流程示意图。图2是根据一示例性实施例示出的一种用于数据打包的方法的系统架构示意图。图3是根据一示例性实施例示出的一种打包调度器的页面示意图。图4是根据图3所示的打包调度器输入执行周期表达式的页面示意图。图5是根据一示例性实施例示出的一种作业列表的页面示意图。图6是根据一示例性实施例示出的一种用于数据打包的装置的模块示意图。具体实施方式现在将参考附图更全面地描述示例性实施例。然而，示例性实施例能够以多种形式实施，且不应被理解为限于在此阐述的实施方式；相反，提供这些实施方式使得本公开将全面和完整，并将示例性实施例的构思全面地传达给本领域的技术人员。在图中，相同的附图标记表示相同或类似的结构，因而将省略它们的详细描述。此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本公开的实施例的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而没有所述特定细节中的一个或更多，或者可以采用其它的模块、步骤等。在其它情况下，不详细示出或描述公知结构以避免模糊本公开的各方面。图1是根据一示例性实施例示出的一种用于数据打包的方法的流程示意图。参考图1中所示，本示例实施方式中首先提供了一种用于数据打包的方法，可以包括以下步骤。在步骤S100中，根据上一次触发时间和频度触发相应的定时任务。在示例性实施例中，所述方法本文档来自技高网...

【技术保护点】
一种用于数据打包的方法，其特征在于，包括：根据上一次触发时间和频度触发相应的定时任务；从数据库中抽取所述定时任务对应的待打包数据集；根据所述定时任务的策略参数获取相应的打包策略；根据所述打包策略对所述待打包数据集执行打包调度作业，完成所述待打包数据集的打包。

【技术特征摘要】
1.一种用于数据打包的方法，其特征在于，包括：根据上一次触发时间和频度触发相应的定时任务；从数据库中抽取所述定时任务对应的待打包数据集；根据所述定时任务的策略参数获取相应的打包策略；根据所述打包策略对所述待打包数据集执行打包调度作业，完成所述待打包数据集的打包。2.根据权利要求1所述的用于数据打包的方法，其特征在于，根据上一次触发时间和频度触发相应的定时任务包括：将所述定时任务的上一次触发时间和频度存储于所述数据库中；根据所述上一次触发时间和所述频度获得所述定时任务的下一次触发时间；进行时间监控，当当前时间等于所述下一次触发时间时，触发所述定时任务。3.根据权利要求1所述的用于数据打包的方法，其特征在于，所述方法还包括：根据业务需求，为所述待打包数据集创建打包调度器；通过所述打包调度器的页面创建所述定时任务及其打包分组策略参数、初始触发时间和频度并保存于所述数据库中。4.根据权利要求3所述的用于数据打包的方法，其特征在于，所述打包调度器为QuartzJob打包调度器。5.根据权利要求3所述的用于数据打包的方法，其特征在于，所述打包策略包括分包策略、拆包策略和包命名策略。6.根据权利要求5所述的用于数据打包的方法，其特征在于，所述包命名策略包括序列重置策略。7.根据权利要求5所述的用于数据打包的方法，其特征在于，根据所述打包策略对所述待打包数据集执行打包调度作业，完成所述待打包数据集的打包包括：根据所述打包分组策略参数，将具有相同分包策略的所述待打包数据集中的数据分配至同一数据包中；遍历所述待打包数据集完成所述待打包数据集的分包。8.根据权利要求7所述的用于数据打包的方法，其特征在于，根据所述打包分组策略参数，将具有相同分包策略的所述待打包数据集中的数据分配至同一数据包中包括：将所述打包分组策略参数封装在HashMap中，并传递至所述定时任务；将所述打包分组策略参数组成分包策略key；将具有相同分包策略key的所述待打包数据集中的数据放在同一数据包中。9.根据权利要求7所述的用于数据打包的方法，其特征在...

【专利技术属性】
技术研发人员：程惠仙，陈林，
申请(专利权)人：泰康保险集团股份有限公司，
类型：发明
国别省市：北京,11