农产品交易数据处理方法技术

本发明专利技术涉及数据处理领域，尤其涉及农产品交易数据处理方法

【技术实现步骤摘要】
农产品交易数据处理方法、装置、服务器及存储介质


[0001]本专利技术涉及数据处理领域，尤其涉及农产品交易数据处理方法
、
装置
、
服务器及存储介质
。

技术介绍

[0002]数据处理的过程大致分为数据的准备
、
处理和输出3个阶段
。
在数据准备阶段，将数据脱机输入到穿孔卡片
、
穿孔纸带
、
磁带或磁盘
。
这个阶段也可以称为数据的录入阶段
。
数据录入以后，就要由计算机对数据进行处理，为此预先要由用户编制程序并把程序输入到计算机中，计算机是按程序的指示和要求对数据进行处理的
。
所谓处理，就是指数据采集：采集所需的信息；数据转换：把信息转换成机器能够接收的形式；数据分组：指定编码，按有关信息进行有效的分组；数据组织：整理数据或用某些方法安排数据，以便进行处理；数据计算：进行各种算术和逻辑运算，以便得到进一步的信息；数据存储：将原始数据或计算的结果保存起来
,
供以后使用；数据检索
:
按用户的要求找出有用的信息；数据排序：把数据按一定要求排成次序
。
处理就是指所述8个方面工作中的一个或若干个的组合
。
最后输出的是各种文字和数字的表格和报表
。
数据处理系统已广泛地用于各种企业和事业，内容涉及薪金支付，票据收发
、
信贷和库存管理
、
生产调度r/>、
计划管理
、
销售分析等
。
它能产生操作报告
、
金融分析报告和统计报告等
。
数据处理技术涉及到文卷系统
、
数据库管理系统
、
分布式数据处理系统等方面的技术
。
此外，由于数据或信息大量地应用于各种各样的企业和事业机构，工业化社会中已形成一个独立的信息处理业
。
数据和信息，本身已经成为人类社会中极其宝贵的资源
。
信息处理业对这些资源进行整理和开发，借以推动信息化社会的发展
。
[0003]如授权公告号为
CN110457336B
的中国专利公开了一种交易数据处理方法及装置，所述方法包括：接收核心银行系统发送的一组或多组交易主键和每组交易主键对应的交易数据；接收交易链路上多个节点系统发送的与所述每组交易主键对应的交易附加数据，其中所述交易链路上多个节点系统发送的与所述每组交易主键对应的交易附加数据包括：渠道系统发送的与每组交易主键对应的渠道附加数据
、
场景系统发送的与每组交易主键对应的场景附加数据和外围产品系统发送的与每组交易主键对应的产品附加数据；对每组交易主键对应的交易数据
、
渠道附加数据
、
场景附加数据和产品附加数据进行整合
。
该专利技术有效提高客户交易数据的完整性，满足客户及监管机构对交易数据完整性的要求
。
[0004]如授权公告号为
CN104573990B
的中国专利公开了一种产品交易数据处理方法及装置，所述方法包括：定义产品的销售周期静态配置信息表；根据销售周期静态配置信息表，定义产品的销售周期登记表，销售周期登记表包括各销售阶段对应的销售日期；定义产品的可交易信息表，可交易信息表包括各销售阶段对应的可进行交易的交易代码；获取当前交易数据，当前交易数据包括当前进行交易的交易代码；结合可交易信息表和销售周期登记表，判断当前时间对应的销售阶段所对应的可进行交易的交易代码，是否具有当前进行交易的交易代码；若是，对交易数据进行处理
。
该专利技术实现了不同的产品的销售周期的统一管理，降低了银行系统的程序复杂性较高，且提高了数据的处理效率
。
[0005]以上专利均存在本
技术介绍
提出的问题：农产品交易数据冗杂，其中会存在多条重复数据，不能较好去重则会对数据存储造成较大压力，而且农产品交易数据来源与各个交易平台，其中会包括虚假交易数据，对农产品交易数据的真实性提出了挑战
。
为了解决这些问题，本申请设计了农产品交易数据处理方法
、
装置
、
服务器及存储介质
。

技术实现思路

[0006]本专利技术所要解决的技术问题是针对现有技术的不足，提供了农产品交易数据处理方法
、
装置
、
服务器及存储介质
。
[0007]为实现上述目的，本专利技术提供如下技术方案：
[0008]农产品交易数据处理方法，包括以下步骤：
[0009]步骤
S1
：对农产品交易数据进行预处理；
[0010]步骤
S2
：计算农产品交易数据真实度；
[0011]步骤
S3
：基于真实度对农产品交易数据中的虚假数据进行标记；
[0012]步骤
S4
：基于农产品交易数据特征对农产品交易数据进行聚类处理；
[0013]步骤
S5
：基于设计的表结构对农产品交易数据进行存储
。
[0014]进一步地，步骤
S1
具体包括以下步骤：
[0015]步骤
S1.1
：将非数字类型的农产品交易数据转换为数字；
[0016]步骤
S1.2
：对农产品交易数据进行数据标准化操作；
[0017]步骤
S1.3
：对农产品交易数据进行去重处理
。
[0018]进一步地，步骤
S1.3
具体包括以下步骤：
[0019]步骤
S1.3.1
：选取农产品交易数据中的交易订单来源平台
、
交易订单生成时间
、
交易订单编号
、
农产品编号
、
买家
ID
和卖家
ID
作为特征，建立农产品交易特征数据集；
[0020]步骤
S1.3.2
：设定农产品交易特征值函数为，计算公式为：
[0021]，
[0022]其中，表示设定的农产品交易特征值数量，表示农产品交易特征数据集中特征数量，表示第个农产品交易特征值函数，表示农产品交易特征数据集中的第个特征，
、
和表示农产品交易特征值函数的第个农产品交易特征值函数的系数；
[0023]步骤
S1.3.3
：依次计算每组农产品交易数据特征的特征值，得到特征值集合，；
[0024]步骤
S1.3.4
：设农产品交易数据特征值集合相似度为，计算公式为：
[0025]，
[0026]其中，表示农产品交易数据特征值集合相似度，和分别表示本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
农产品交易数据处理方法，其特征在于，包括以下步骤：步骤
S1
：对农产品交易数据进行预处理；步骤
S2
：计算农产品交易数据真实度；步骤
S3
：基于真实度对农产品交易数据中的虚假数据进行标记；步骤
S4
：基于农产品交易数据特征对农产品交易数据进行聚类处理；步骤
S5
：基于设计的表结构对农产品交易数据进行存储
。2.
根据权利要求1所述的农产品交易数据处理方法，其特征在于，所述步骤
S1
具体包括以下步骤：步骤
S1.1
：将非数字类型的农产品交易数据转换为数字；步骤
S1.2
：对农产品交易数据进行数据标准化操作；步骤
S1.3
：对农产品交易数据进行去重处理
。3.
根据权利要求2所述的农产品交易数据处理方法，其特征在于，所述步骤
S1.3
具体包括以下步骤：步骤
S1.3.1
：选取农产品交易数据中的交易订单来源平台
、
交易订单生成时间
、
交易订单编号
、
农产品编号
、
买家
ID
和卖家
ID
作为特征，建立农产品交易特征数据集；步骤
S1.3.2
：设定农产品交易特征值函数为，计算公式为：，其中，表示设定的农产品交易特征值数量，表示农产品交易特征数据集中特征数量，表示第个农产品交易特征值函数，表示农产品交易特征数据集中的第个特征，
、
和表示农产品交易特征值函数的第个农产品交易特征值函数的系数；步骤
S1.3.3
：依次计算每组农产品交易数据特征的特征值，得到特征值集合，；步骤
S1.3.4
：设农产品交易数据特征值集合相似度为，计算公式为：，其中，表示农产品交易数据特征值集合相似度，和分别表示两组农产品交易数据的特征值集合；步骤
S1.3.5
：当两组农产品交易数据特征值集合相似度时，判断该两组农产品交易数据为重复数据，对该两组数据进行去重处理
。4.
根据权利要求3所述的农产品交易数据处理方法，其特征在于，所述步骤
S2
中，所述农产品交易数据真实度，计算公式为：，其中，表示农产品交易数据真实度，表示农产品交易数据的数据真实度，表示农产品交易数据的数据源真实度，表示农产品交易数据的数据真实度权重，表示农产品
交易数据的数据源真实度权重
。5.
根据权利要求4所述的农产品交易数据处理方法，其特征在于，所述农产品交易数据的数据真实度，计算公式为：，，，其中，表示农产品交易订单数据的真实度，表示订单重要特征数据的数量，表示订单重要特征数据的缺失数量，表示订单除重要特征之外部分数据的数量，表示订单除重要特征之外部分数据的缺失数量，表示订单中农产品单价与该编号农产品的平均单价的偏离程度，表示订单中农产品销售数量与该编号农产品的平均销售数量的偏离程度，和分别表示农产品交易订单数据中重要特征数据和除重要特征之外部分数据的权重，表示农产品交易订单买家卖家数据的真实度，表示农产品交易订单买家特征数据的数量，表示农产品交易订单买家特征数据的缺失数量，表示农产品交易订单卖家特征数据的数量，表示农产品交易订单卖家特征数据的缺失数量，表示农产品交易订单卖家农产品来源的真实度，和分别表示农产品交易订单买家卖家数据中买家数据和卖家数据的权重，表示农产品交易订单数据的权重，表示农产品交易订单买家卖家数据的权重
。6.
根据权利要求5所述的农产品交易数据处理方法，其特征在于，所述...

【专利技术属性】
技术研发人员：毛霖，张帆，陈海军，齐佰剑，杨庆庆，黄德民，
申请(专利权)人：新立讯科技股份有限公司，
类型：发明
国别省市：