【技术实现步骤摘要】
一种数据处理方法、装置及存储介质
本专利技术涉及数据处理
，特别涉及一种数据处理方法、装置及存储介质。
技术介绍
物流计费系统需要使用统一的单据(计费标准单)进行各种类型的物流费用计算，但是物流费用产生在物流流程中的各个节点，想要计算出这些费用需要对接多种不同的业务系统。而业务系统的数据有不同的形态。在对接过程中需要保证尽量不耗费业务系统的性能，也能适应上游业务的不断变化。现有技术，主要通过业务人员提取业务系统数据手工导入数据到计费系统中，需要不断核对，仍然无法避免数据错误，需要大量人工干预，才能保证计费正常。另外一种方式是计费系统提供接口，让业务系统通过接口调用，传递数据。现有技术前台导入的方式，无法应对特殊的业务规则，无法保证数据的准确度，人工无法应对业务大量增长后产生的数据压力。
技术实现思路
本专利技术的目的在于提供一种数据处理方法及装置，为了解决在对上游不造成影响的情况下完成多个上游的数据对接，将业务系统单据转单成计费系统需要的计费标准单。为实现上述专利技术目的，本...
【技术保护点】
1.一种数据处理方法，其特征在于，该方法包括：/n大数据平台模块增量抽取每个业务系统的业务主表和相关联的业务子表，并推送到计费数据库形成对应的计费主表和计费子表；/n监控模块监控计费数据库中计费主表对应的插入类型的二进制日志，将所监控的二进制日志通过消息队列发送给转单模块；/n转单模块根据消息队列中的计费主表获取到业务主表ID，根据业务主表ID从计费数据库查找到与所述计费主表相关联的计费子表；将计费主表和相关联的计费子表的数据组成报文，发送含有数据报文内容的报文消息队列给自身；根据报文消息队列的内容将报文数据转为计费标准单。/n
【技术特征摘要】
1.一种数据处理方法，其特征在于，该方法包括：
大数据平台模块增量抽取每个业务系统的业务主表和相关联的业务子表，并推送到计费数据库形成对应的计费主表和计费子表；
监控模块监控计费数据库中计费主表对应的插入类型的二进制日志，将所监控的二进制日志通过消息队列发送给转单模块；
转单模块根据消息队列中的计费主表获取到业务主表ID，根据业务主表ID从计费数据库查找到与所述计费主表相关联的计费子表；将计费主表和相关联的计费子表的数据组成报文，发送含有数据报文内容的报文消息队列给自身；根据报文消息队列的内容将报文数据转为计费标准单。
2.如权利要求1所述的方法，其特征在于，所述计费数据库的计费主表和计费子表还包括，用于记录数据表被推送插入到计费数据库时间的推送时间字段；用于记录数据表插入时，以及被处理完成时的计费系统时间戳字段；包括初始和已处理两种状态的计费系统处理状态字段；
在查找到与所述计费主表相关联的计费子表之后，该方法还包括：
将计费主表和相关联的计费子表的ID构成的ID集合通过状态变更消息队列给自身；根据状态变更消息队列的内容更新计费数据库计费主表和计费子表中的计费系统时间戳字段和计费系统处理状态字段。
3.如权利要求1所述的方法，其特征在于，该方法进一步包括：将计费标准单发送给标准单数据库进行保存。
4.如权利要求1所述的方法，其特征在于，所述业务系统的业务主表包括业务主表ID，该业务主表ID对应的数据在业务系统创建时间，该业务主表ID对应的数据在业务系统更新时间，该业务主表ID对应的业务单号，客户编码，计费字段；所述业务系统的业务子表包括与每个业务主表ID相关联的多个业务子表ID，每个业务子表ID对应的数据在业务系统创建时间，每个业务子表ID对应的数据在业务系统更新时间，每个业务子表ID对应的数据的计费状态。
5.如权利要求4所述的方法，其特征在于，所述推送到计费数据库形成对应的计费子表包括：
根据业务子表ID对应的每条数据的计费状态确定是否将该条数据推送到计费数据库的计费子表；
在推送到计费数据库的计费子表时，将该条数据对应一个计费子表ID，该计费子表ID与业务子表ID一一对应，并关联业务主表ID。
6.如权利要求1所述的方法，其特征在于，所述监控计费数据库中计费主表对应的插入类型的二进制日志包括：...
【专利技术属性】
技术研发人员：李桐葳，周志亮，
申请(专利权)人：北京京东尚科信息技术有限公司，北京京东世纪贸易有限公司，
类型：发明
国别省市：北京;11
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。