一种针对于陶瓷行业交易资产证书数据要素实现的方法技术

本发明专利技术公开了一种针对于陶瓷行业交易资产证书数据要素实现的方法，包括下述步骤：数据入口：通过数据聚合把多个数据源的数据抽取到交易平台数仓；数据加工处理：交易平台数仓将多个数据源的数据进行加工处理，形成交易证据链证书的应用三层的数据要素；交易证据链证书：将应用三层的数据要素进行上区块链；本发明专利技术旨在提供一种针对于陶瓷行业交易资产证书数据要素实现的方法，通过流批一体的技术架构，保证数据要素能准确实时的进行交付；通过应用三层的模式设计，可以清晰地进行数据展示。示。示。

【技术实现步骤摘要】
一种针对于陶瓷行业交易资产证书数据要素实现的方法


[0001]本专利技术涉及数据处理
，尤其涉及一种针对于陶瓷行业交易资产证书数据要素实现的方法。

技术介绍

[0002]陶瓷行业中，随着社会的发展，一般会对系统进行全面数字化改造。现有的数据资产产品的数据要素技术实现上，有的实时性不是特别强，在表的设计上不够清晰，还有在数据校验的方法使用资源比较多等问题。通过数据要素构建产业信任环境，解决了长久以来陶瓷行业经营模式不规范、原材料交易成本难认定、企业经营成本居高不下的产业痛点，切实赋能传统产业在新的数据化赛道上的高质量发展。

技术实现思路

[0003]本专利技术的目的在于提出一种针对于陶瓷行业交易资产证书数据要素实现的方法，通过流批一体的技术架构，保证数据要素能准确实时的进行交付；通过应用三层的模式设计，可以清晰地进行数据展示。
[0004]为达此目的，本专利技术采用以下技术方案：一种针对于陶瓷行业交易资产证书数据要素实现的方法，包括下述步骤：数据入口：通过数据聚合把多个数据源的数据抽取到交易平台数仓；数据加工处理：交易平台数仓将多个数据源的数据进行加工处理，形成交易证据链证书的应用三层的数据要素；交易证据链证书：将应用三层的数据要素进行上区块链。
[0005]优选的，所述数据入口步骤中，多个数据源包括原料平台、会员中心、明数磅单系统、明数磅单轨迹数据、原料平台文件资源以及后台系统模块。
[0006]优选的，所述数据加工处理步骤中，交易平台数仓包括监控日志和数仓建模；所述监控日志包括将MySQL和MongoDB；将原料平台、会员中心、明数磅单系统、原料平台文件资源以及后台系统模块的数据存储至MySQL；将明数磅单轨迹数据存储至MongoDB；通过实时同步和离线同步将MySQL和MongoDB的数据存放至数仓建模中，实时同步采用Canal监控MySQL的BinLog日志，导入到Kafka，然后使用Doris的Routine Load实时导入到Doris；离线同步采用Spark定时一个小时抽取MySQL和MongoDB的数据到Doris；将从监控日志中抽取的数据作为数仓建模中数仓的原始层，采用DorisSQL直接对原始层数据进行逻辑运算并生成至应用层，将应用层的是数据进行交付上链。
[0007]优选的，所述数据加工处理步骤中，包括下列子步骤：确认客户完成支付：接收并判断是否收到客户完成支付服务费的信号；发送及监听消息队列：通过RabbitMQ发送消息队列，通过SpringBoot应用监听服务判断是否收到消息队列；
生成应用三层表：监听收到消息队列后，触发DorisSQL生成了交易证据链的应用三层表，基于应用三层表的数据生成三层Hash的唯一值，并唯一值存在于MySQL上，在RabbitMQ发送新的消息队列，最后，监听服务收到新的消息队列后，对整个数据进行上链。
[0008]优选的，数据要素的三层具体包括，包括底下的第三层为交易详细信息认证数据，中间的第二层为交易评级认证数据以及最上层的第一层为交易总评分认证数据。
[0009]优选的，在交易详细信息认证数据中，通过DorisSQL对相关的数据表进行关联处理并生成版本号，通过贸易单明细表的版本号，判断其余数据表的版本号，贸易单明细表的版本号通过自身来判断，在第一次生成时，默认为1，否则就加1，贸易单明细表的数据表命名以ads_three作为开头。
[0010]优选的，在交易评级认证数据中，通过DorisSQL对物料台账中的物料信息、磅单信息、品质标准、检测标准和使用评价，对物流台账中的运输轨迹、行驶证信息和驾驶证信息，对资金台账中的上游支付凭证、对账单信息和销售发票信息，对交易台账中的合同信息和订单信息，以及对交易行为中的累计交易行为评分，各项进行校验评分并生成评分数据表，数据表命名都是以ads_two作为开头，获得整个交易的评分，根据评分结果判断交易行为的真实性。
[0011]优选的，在交易总评分认证数据中，采用DorisSQL对第二层的评分数据表进行汇总，获得汇总的评分认证表，汇总的评分认证表的数据表命名以ads_one作为开头。
[0012]本专利技术的一个技术方案的有益效果：本专利技术交易平台数仓通过流批一体的技术架构，保证数据要素能准确实时的进行交付；通过应用三层的模式设计，可以清晰地进行数据展示；实现过程中，在数据加工处理过程中，采用数据评分校验方法，使用
‘
先对比，后统计量
’
的方式，大大减少服务资源；为企业带来直接的经济价值。根据本专利技术推出的第一个数据产品“众陶联交易证据链证书”，已正式在广州数据交易所挂牌上线！本次专利技术主要阐述“众陶联交易证据链证书”数据要素实现路径。
附图说明
[0013]图1是本专利技术一个实施例的实现流程示意图；图2是本专利技术一个实施例多个数据源的数据表格示意图；图3是本专利技术一个实施例交易平台数仓技术流程架构的示意图；图4是本专利技术一个实施例整个数据要素实现全技术流程示意图；图5是本专利技术一个实施例应用三层的示意图；图6是本专利技术一个实施例交易详细信息数据的数据表示意图；图7是本专利技术一个实施例贸易单明细表实现的示意图；图8是本专利技术一个实施例附件详情表实现的示意图；图9是本专利技术一个实施例磅单明细表实现的示意图；图10是本专利技术一个实施例评分规则数据表的示意图；图11是本专利技术一个实施例评分数据表的示意图；图12是本专利技术一个实施例汇总的评分认证表的数据表的示意图。
具体实施方式
[0014]下面结合附图并通过具体实施方式来进一步说明本专利技术的技术方案。
[0015]下面详细描述本专利技术的实施例，所述实施例的示例在附图中示出。下面通过参考附图描述的实施例是示例性的，仅用于解释本专利技术，而不能理解为对本专利技术的限制。
[0016]在本专利技术的描述中，除非另有说明，“多个”的含义是两个或两个以上。
[0017]参阅图1至图12所示，一种针对于陶瓷行业交易资产证书数据要素实现的方法，包括下述步骤：数据入口：通过数据聚合把多个数据源的数据抽取到交易平台数仓；数据加工处理：交易平台数仓将多个数据源的数据进行加工处理，形成交易证据链证书的应用三层的数据要素；交易证据链证书：将应用三层的数据要素进行上区块链。
[0018]本专利技术交易平台数仓通过流批一体的技术架构，保证数据要素能准确实时的进行交付；通过应用三层的模式设计，可以清晰地进行数据展示；实现过程中，在数据加工处理过程中，采用数据评分校验方法，使用
‘
先对比，后统计量
’
的方式，大大减少服务资源；为企业带来直接的经济价值。按照证书的交易额千分之四来收取，预计2023年平台共生产8000张证书，产品收入2800万元。根据本专利技术推出的第一个数据产品“众陶联交易证据链证书”，已正式在广州数据交易所挂牌上线！本次专利技术主要阐述“众陶联交易证据链证书”数据要素实现路径。
[0019]具体地，所述数据入口步骤中，多个数据源包括原料平台、会员中心、明数磅本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种针对于陶瓷行业交易资产证书数据要素实现的方法，其特征在于，包括下述步骤：数据入口：通过数据聚合把多个数据源的数据抽取到交易平台数仓；数据加工处理：交易平台数仓将多个数据源的数据进行加工处理，形成交易证据链证书的应用三层的数据要素；交易证据链证书：将应用三层的数据要素进行上区块链。2.根据权利要求1所述的一种对于陶瓷行业交易资产证书数据要素实现的方法，其特征在于，所述数据入口步骤中，多个数据源包括原料平台、会员中心、明数磅单系统、明数磅单轨迹数据、原料平台文件资源以及后台系统模块。3.根据权利要求2所述的一种对于陶瓷行业交易资产证书数据要素实现的方法，其特征在于，所述数据加工处理步骤中，交易平台数仓包括监控日志和数仓建模；所述监控日志包括将MySQL和MongoDB；将原料平台、会员中心、明数磅单系统、原料平台文件资源以及后台系统模块的数据存储至MySQL；将明数磅单轨迹数据存储至MongoDB；通过实时同步和离线同步将MySQL和MongoDB的数据存放至数仓建模中，实时同步采用Canal监控MySQL的BinLog日志，导入到Kafka，然后使用Doris的Routine Load实时导入到Doris；离线同步采用Spark定时一个小时抽取MySQL和MongoDB的数据到Doris；将从监控日志中抽取的数据作为数仓建模中数仓的原始层，采用DorisSQL直接对原始层数据进行逻辑运算并生成至应用层，将应用层的是数据进行交付上链。4.根据权利要求3所述的一种对于陶瓷行业交易资产证书数据要素实现的方法，其特征在于，所述数据加工处理步骤中，包括下列子步骤：确认客户完成支付：接收并判断是否收到客户完成支付服务费的信号；发送及监听消息队列：通过RabbitMQ发送消息队列，通过SpringBoot应用监听服务判断是否收到消息队列；生成应...

【专利技术属性】
技术研发人员：梁英林，孔令超，林国友，吕火生，蒋虹，彭志鸿，李杰，黄龙杰，刘伟文，麦显铿，冼福伟，吴家豪，曾映群，邓维滔，毛凌云，
申请(专利权)人：西藏众陶联供应链服务有限公司林周佳住家网络科技有限公司林周利利佳供应链服务有限公司共青城市众陶联供应链服务有限公司，
类型：发明
国别省市：