数据上报方法、装置以及存储介质制造方法及图纸

本公开提供了一种数据上报方法、装置以及存储介质，涉及计算机技术领域，其中的方法包括：当监听到业务消息队列中有业务消息时，从业务消息队列中提取业务消息；基于业务消息生成至少一种数据类型的业务数据并存储；对属于各个数据类型的未上报业务数据配置对应的批次号，建立批次记录信息并存储；基于批次记录信息获取属于各个数据类型的未上报业务数据生成上报文件并存储；获取上报文件并发送到目标系统，并向目标系统发送上报通知消息。本公开的方法、装置以及存储介质，能够提高上报效率，可以避免文件太大无法上报问题、由于上报失败后不能自动重复上报问题，并可以保证数据完整性、一致性。

【技术实现步骤摘要】
数据上报方法、装置以及存储介质
本公开涉及计算机
，尤其涉及一种数据上报方法、装置以及存储介质。
技术介绍
现有的数据上报方法有多种。例如，一种数据上报方法为：将采集到的数据转换为数据包，通过数据包校验模块对数据包进行校验，校验通过后生成与数据包对应的业务数据进行上报操作；但是，这种数据上报方法在采集数据时通过串行获取，将采集的数据转换为数据包后存入缓存队列，但是缓存队列的空间有限，不能同时处理大量业务数据上报。另一种数据上报方法为：获取上报系统接口文档，从请求对象中获取上报数据的类型和上报时间段；从数据局库中查询相关的数据，生成上报文件进行上报；但是，这种数据上传方法在上报的数据较多时，容易造成上报文件过大无法上报的风险。
技术实现思路
有鉴于此，本专利技术要解决的一个技术问题是提供一种数据上报方法、装置以及存储介质。根据本公开的第一方面，提供一种数据上报方法，包括：当监听到业务消息队列中有业务消息时，从所述业务消息队列中提取所述业务消息；基于所述业务消息生成至少一种数据类型的业务数据并存储；对属于各个数据类型的未上报业务数据配置对应的批次号，建立批次记录信息并存储；其中，所述批次记录信息包括：批次号、业务数据数量和上报状态；基于所述批次记录信息获取属于各个数据类型的未上报业务数据生成上报文件并存储；获取所述上报文件并发送到目标系统，并向所述目标系统发送上报通知消息。可选地，在向所述目标系统发送上报通知消息之后，向所述目标系统发送上报查询消息，接收所述目标系统返回的对于所述上报文件的处理结果。可选地，所述基于所述业务消息生成至少一种数据类型的业务数据包括：从所述业务消息中提取报文类型信息、报文数据实体；对所述报文数据实体进行完整性检测；基于报文类型信息确定所述报文数据实体所属的数据类型，对通过完整性检测的所述报文数据实体进行转换处理，生成此数据类型的业务数据。可选地，所述对属于各个数据类型的未上报业务数据配置对应的批次号，建立批次记录信息并存储包括：对各个数据类型配置对应的批次号生成任务；运行对于各个数据类型所配置的批次号生成任务，周期性地对属于各个数据类型的未上报业务数据配置所述批次号；对于每个批次号建立至少一个批次记录信息；其中，所述批次记录信息的业务数据数量小于或等于预设的数量阈值，所述批次记录信息的上报状态为未上报状态。可选地，所述基于所述批次记录信息获取属于各个数据类型的未上报业务数据生成上报文件并存储包括：对于各个数据类型配置对应的上报任务，生成与所述上报任务相对应的配置信息；其中，所述配置信息包括数据类型信息；运行对于各个数据类型所配置的上报任务，周期性地基于所述配置信息中的数据类型信息获取目标批次记录信息；其中，所述目标批次记录信息中的上报状态为未上报状态；获取与所述目标批次记录信息相对应的未上报业务数据，生成所述上报文件并存储；将所述目标批次记录信息中的上报状态设置为文件生成状态并存储上报文件路径。可选地，将所述上报文件存储在云端并生成对应的所述上报文件路径。可选地，所述获取所述上报文件并发送到目标系统，并向所述目标系统发送上报通知消息包括：通过所述上报任务周期性地根据所述上报文件路径，获取与所述目标批次记录信息相对应的上报文件并发送到所述目标系统；如果此上报文件发送成功，则将所述目标批次记录信息中的上报状态设置为上传成功状态；基于所述上报文件生成所述上报通知消息并发送给所述目标系统；如果此上报通知消息发送成功，则将所述目标批次记录信息的上报状态设置为通知成功状态。可选地，在接收所述目标系统返回的所述处理结果之后，如果确定所述处理结果为处理成功，则将所述目标批次记录信息的上报状态设置为上报成功状态；如果确定所述处理结果为正在处理，则周期性地发送所述上报查询消息，直至确定所述处理结果为处理成功。可选地，周期性地判断所述目标批次记录信息中的上报状态是否为上报成功状态，如果否，则根据所述目标批次记录信息中的上报状态进行相应的处理，直至确定所述目标批次记录信息的上报状态为通知成功状态。可选地，对于多个业务系统设置业务消息队列；其中，对于每个业务系统都设置至少一个业务消息队列。根据本公开的第二方面，提供一种数据上报装置，包括：消息监听模块，当监听到业务消息队列中有业务消息时，从所述业务消息队列中提取所述业务消息；消息接受模块，基于所述业务消息生成至少一种数据类型的业务数据并存储；批次生成模块，用于对属于各个数据类型的未上报业务数据配置对应的批次号，建立批次记录信息并存储；其中，所述批次记录信息包括：批次号、业务数据数量和上报状态；文件处理模块，用于基于所述批次记录信息获取属于各个数据类型的未上报业务数据生成上报文件并存储；数据上报模块，用于获取所述上报文件并发送到目标系统，并向所述目标系统发送上报通知消息。可选地，数据查询模块，用于在向所述目标系统发送上报通知消息之后，向所述目标系统发送上报查询消息，接收所述目标系统返回的对于所述上报文件的处理结果。可选地，所述消息接受模块，包括：消息提取单元，用于从所述业务消息中提取报文类型信息、报文数据实体；报文检测单元，用于对所述报文数据实体进行完整性检测；报文处理单元，用于基于报文类型信息确定所述报文数据实体所属的数据类型，对通过完整性检测的所述报文数据实体进行转换处理，生成此数据类型的业务数据。可选地，任务调度模块，用于对各个数据类型配置对应的批次号生成任务；所述批次生成模块，还用于运行对于各个数据类型所配置的批次号生成任务，周期性地对属于各个数据类型的未上报业务数据配置所述批次号；对于每个批次号建立至少一个批次记录信息；其中，所述批次记录信息的业务数据数量小于或等于预设的数量阈值，所述批次记录信息的上报状态为未上报状态。可选地，所述任务调度模块，用于对于各个数据类型配置对应的上报任务，生成与所述上报任务相对应的配置信息；其中，所述配置信息包括数据类型信息；所述文件处理模块，包括：文件生成单元，用于运行对于各个数据类型所配置的上报任务，周期性地基于所述配置信息中的数据类型信息获取目标批次记录信息；其中，所述目标批次记录信息中的上报状态为未上报状态；获取与所述目标批次记录信息相对应的未上报业务数据，生成所述上报文件并存储；文件存储单元，用于将所述目标批次记录信息中的上报状态设置为文件生成状态并存储上报文件路径。可选地，所述文件存储单元，用于将所述上报文件存储在云端并生成对应的所述上报文件路径。可选地，所述数据上报模块，包括：文件上传单元，用于通过所述上报任务周期性地根据所述上报文件路径，获取与所述目标批次记录信息相对应的上报文件并发送到所述目标系统；如果此上报文件发送成功，则将所述目标批次记录信息中的上报状态设置为上传成功状态；通知发送单元，用于基于所述上报文件生成所述上报通知消息并发送给所述目标系统；如果此上报通知消息发送成功，则将所述目标批次记录信息的上报状态设置为通知成功状态。可选地，数据查询模块，用于在接收所述目标系统返回的所本文档来自技高网...

【技术保护点】
1.一种数据上报方法，包括：/n当监听到业务消息队列中有业务消息时，从所述业务消息队列中提取所述业务消息；/n基于所述业务消息生成至少一种数据类型的业务数据并存储；/n对属于各个数据类型的未上报业务数据配置对应的批次号，建立批次记录信息并存储；/n基于所述批次记录信息获取属于各个数据类型的未上报业务数据生成上报文件并存储；/n获取所述上报文件并发送到目标系统，并向所述目标系统发送上报通知消息。/n

【技术特征摘要】
1.一种数据上报方法，包括：
当监听到业务消息队列中有业务消息时，从所述业务消息队列中提取所述业务消息；
基于所述业务消息生成至少一种数据类型的业务数据并存储；
对属于各个数据类型的未上报业务数据配置对应的批次号，建立批次记录信息并存储；
基于所述批次记录信息获取属于各个数据类型的未上报业务数据生成上报文件并存储；
获取所述上报文件并发送到目标系统，并向所述目标系统发送上报通知消息。


2.如权利要求1所述的方法，还包括：
在向所述目标系统发送上报通知消息之后，向所述目标系统发送上报查询消息，接收所述目标系统返回的对于所述上报文件的处理结果。


3.如权利要求1或2所述的方法，所述基于所述业务消息生成至少一种数据类型的业务数据包括：
从所述业务消息中提取报文类型信息、报文数据实体；
对所述报文数据实体进行完整性检测；
基于报文类型信息确定所述报文数据实体所属的数据类型，对通过完整性检测的所述报文数据实体进行转换处理，生成此数据类型的业务数据。


4.如权利要求2所述的方法，其中，所述批次记录信息包括：批次号、业务数据数量和上报状态；所述对属于各个数据类型的未上报业务数据配置对应的批次号，建立批次记录信息并存储包括：
对各个数据类型配置对应的批次号生成任务；
运行对于各个数据类型所配置的批次号生成任务，周期性地对属于各个数据类型的未上报业务数据配置所述批次号；
对于每个批次号建立至少一个批次记录信息；
其中，所述批次记录信息的业务数据数量小于或等于预设的数量阈值，所述批次记录信息的上报状态为未上报状态。


5.如权利要求4所述的方法，所述基于所述批次记录信息获取属于各个数据类型的未上报业务数据生成上报文件并存储包括：
对于各个数据类型配置对应的上报任务，生成与所述上报任务相对应的配置信息；其中，所述配置信息包括数据类型信息；
运行对于各个数据类型所配置的上报任务，周期性地基于所述配置信息中的数据类型信息获取目标批次记录信息；其中，所述目标批次记录信息中的上报状态为未上报状态；
获取与所述目标批次记录信息相对应的未上报业务数据，生成所述上报文件并存储；
将所述目标批次记录信息中的上报状态设置为文件生成状态并存储上报文件路径。


6.如权利要求5所述的方法，还包括：
将所述上报文件存储在云端并生成对应的所述上报文件路径。


7.如权利要求5所述的方法，所述获取所述上报文件并发送到目标系统，并向所述目标系统发送上报通知消息包括：
通过所述上报任务周期性地根据所述上报文件路径，获取与所述目标批次记录信息相对应的上报文件并发送到所述目标系统；
如果此上报文件发送成功，则将所述目标批次记录信息中的上报状态设置为上传成功状态；
基于所述上报文件生成所述上报通知消息并发送给所述目标系统；
如果此上报通知消息发送成功，则将所述目标批次记录信息的上报状态设置为通知成功状态。


8.如权利要求7所述的方法，还包括：
在接收所述目标系统返回的所述处理结果之后，如果确定所述处理结果为处理成功，则将所述目标批次记录信息的上报状态设置为上报成功状态；
如果确定所述处理结果为正在处理，则周期性地发送所述上报查询消息，直至确定所述处理结果为处理成功。


9.如权利要求7所述的方法，还包括：
周期性地判断所述目标批次记录信息中的上报状态是否为上报成功状态，如果否，则根据所述目标批次记录信息中的上报状态进行相应的处理，直至确定所述目标批次记录信息的上报状态为通知成功状态。


10.如权利要求1至9任一项所述的方法，其中，
对于多个业务系统设置业务消息队列；其中，对于每个业务系统都设置至少一个业务消息队列。


11.一种数据上报装置，包括：
消息监听模块，当监听到业务消息队列中有业务消息时，从所述业务消息队列中提取所述业务消息；
消息接受模块，基于所述业务消息生成至少一种数...

【专利技术属性】
技术研发人员：张栋芳，黄宝祥，
申请(专利权)人：京东数字科技控股股份有限公司，
类型：发明
国别省市：北京;11