基于概念层次树的农残数据融合处理方法及其系统技术方案

本发明专利技术涉及一种基于概念层次树的农药残留侦测数据融合处理方法与系统，涉及食品安全信息数字化采集与数据处理领域。本发明专利技术通过数据格式转换及补充、构建概念层次树、农药衍生物及禁药信息处理、农产品类别归属判定、根据多国MRL标准进行污染等级判定等过程，对农药残留侦测数据进行融合处理，获得农药残留侦测数据中不同层次属性值之间的关系，形成完备、可靠的分析数据集，有利于对农残数据做进一步的统计分析；适用于各食品安全检测单位，用以提高信息采集与处理的效率。

Pesticide residue data concept hierarchy tree fusion processing method and system based on

The invention relates to a method and a system for data fusion processing of pesticide residue detection based on a concept hierarchy tree, which relates to the field of digital collection and data processing of food safety information. The data format conversion and supplement, construct the concept hierarchy tree, pesticide derivatives and information processing of agricultural products, drug category assignment, according to the MRL standard of pollution level determination of multi process, fusion of data to detect pesticide residues, obtained the relationship between different levels of attribute values in the data detection of pesticide residues, and formed a complete the reliable data set for further statistical analysis of the data for each pesticide; food safety inspection unit, used to improve the efficiency of information collection and processing.

【技术实现步骤摘要】
基于概念层次树的农残数据融合处理方法及其系统
本专利技术涉及食品安全信息数字化采集与数据处理领域，主要涉及一种农药残留数据的融合处理方法与系统。
技术介绍
食品中的农药残留是为世界各国所关注的食品安全问题，与人类健康和食品国际贸易密切相关。为保证食品安全，我国各地食品安全检测部门每年都要对食用农产品中的农药残留进行检测，随着信息技术和互联网的快速发展，农药残留检测平台日趋自动化、信息化、网络化，农药残留数据的获取和分析技术也在不断更新、完善和发展，大量农残数据得以采集和存储。而在将全国各检测单位的侦测结果及时采集到数据中心之后，如何通过数据转换及综合处理方法来融合源于单个或多个信息源的检测数据和信息，并进行快速、精准的污染等级判定，从而更好地估计被测目标的性质或评估污染态势是一个亟待解决的问题。农产品中农药残留的含量是衡量食品安全的重要指标，依据农产品中农残检测结果值同各国、各组织的MRL(MaximumResidueLimit，即最大农药残留限量，指农药在某农产品、食品、饲料中的最高法定允许残留浓度)的对比结果进行污染等级判定，是评估农产品污染态势的常用方法，然而，由于不同国家或组织的MRL标准的数据量较大，且具有较大差异，现有的人工污染等级判定流程十分繁琐、冗杂，耗时较多、效率低下。数据融合技术是指利用计算机对按时序获得的若干观测信息，在一定准则下加以自动分析、综合，以完成所需的决策和评估任务而进行的信息处理技术。数据融合起源于军事领域的传感器和地理空间数据等“硬”数据，而随着大数据时代的到来，其在源于社会的软数据处理方面也有了新的应用和发展。针对同样的事物可能会有不同的表示(例如：“番茄”同“西红柿”等)，需从逻辑语义层和意义建构理论角度进行解释。而多源侦测结果信息的处理还涉及多种异构数据的转换问题、数据的合并处理或者数据命名、结构或单位的一致性问题等，且通常需要经过归约变换或属性选择以满足业务分析需求。综上，针对数据进行有效地融合处理，进而梳理整合成一个更有价值的分析数据集，对于进一步的分析研究具有重要的意义。
技术实现思路
为了克服上述现有技术的不足，本专利技术提供一种基于概念层次树的农药残留侦测数据的融合处理方法及其系统，通过属性关系映射及层次化分类方法，实现对农药残留数据的融合处理及判定结果存储，形成完备、可靠的分析数据集，为下一步的统计分析奠定基础。本专利技术的核心是：本专利技术实现对农残采集数据的融合处理，具体包括农药、地域等信息的数据格式转换及补充、衍生物及禁药信息处理、农产品类别归属判定、根据多国MRL标准进行污染等级判定等，并在此基础上设计一个农残数据融合处理系统。数据源中多个属性通常可以进行数据归类，各属性值和概念依据抽象程度不同可以构成一个层次结构，概念的这种层次结构通常称为概念树，一般由领域专家提供。通过概念泛化处理，可以使处理的数据体现不同的层次和汇聚密度，有利于发现不同层次属性值之间的关系。本专利技术基于概念层次树的归纳方法以及多数据源信息的融合处理思想，提供一种农药残留侦测数据融合处理方法，采用本方法对农残数据元组进行归纳处理。本专利技术通过属性关系映射及层次化分类过程，首先，将一个属性的较具体的值由该属性的概念树中的父概念代替，对相同元组进行合并，构成更宏观的元组；然后，根据合并得到的宏元组规模或实际分析需要，决定是否继续采用该属性的概念树中的父概念替代对应值或根据另一个属性进行概念树提升，最终得到一个覆盖面更广、更有价值的归纳后的宏元组。本专利技术的技术方案如下：一种基于概念层次树的农药残留侦测数据的融合处理方法，通过采用数据属性关系映射及层次化分类方法，包括数据格式转换及补充(包括农药、地域等信息)、构建概念层次树、农药衍生物及禁药信息处理、农产品类别归属判定、根据多国MRL(MaximumResidueLimit，最大农药残留限量)标准进行污染等级判定等过程，对农药残留侦测数据进行融合处理，获得农药残留侦测数据中不同层次属性值之间的关系，形成完备、可靠的分析数据集，可用于进一步统计分析；如图1所示，具体包括如下步骤：A.针对农残侦测原始数据，执行数据类型及格式转换和信息补充，将原始数据集与数据库中的属性建立对应，得到待处理数据集；B.根据A所得的待处理数据集及各国的MRL标准数据，结合领域知识构建概念层次树；本专利技术具体实施时，概念层次树包括衍生物概念树、农产品分类概念树、农残污染程度概念树和采样点地区概念树；C.根据B中概念层次树，进行农药衍生物及禁药业务逻辑判断及处理；D.根据B中概念层次树判断待处理数据集中的数据元组中农产品的类别归属和所在层次，参照不同国家或地区的MRL评判标准逐级执行污染等级判定；E.系统自动生成最终的判定结果记录，并将其存入侦测结果数据库；F.如若数据文件中有多条记录，则重复上述C至E步骤，直至所有记录处理完成，形成可靠的分析数据集。其中，步骤A所述操作包括的步骤具体为：A1.制定统一的属性规范，根据业务分析需求和数据字段特征，执行数据类型及格式转换，将检测单位上传的原始数据转换为基础数据库对应的字段列表；本专利技术在具体实施中建立的基础数据库包括农产品信息数据库、农药信息数据库、MRL数据库和地域信息数据库。A2.建立不同数据源维表间的属性映射关系，保证属性描述的一致性；A3.针对原始数据对应属性进行信息扩充(主要针对地域和农药信息)。也即，根据分析需要，针对样品类别、地域信息、农药信息、MRL信息及采样时间进行完整性判定、完善和补充。验证数据文件中的农产品、农药基本信息格式及内容是否正确，如果不正确则给予修正提示；如若正确，则系统自动综合基础数据库中表进行数据融合和扩充。进一步地，步骤B所述操作包括的处理步骤具体为：B1.根据A中处理所得的结果数据集、农药性质及各国的MRL标准数据，结合专家领域知识构建农药衍生物、农产品分类和农残污染程度概念层次树(不同国家有所不同)。取＜表示“一般一特殊”的关系，则概念层次(偏序集)表示为H＝(h，＜)，其中h是一个有限的概念集，＜是h上的一个偏序，且该概念层次是规则的(即满足：在h中存在一最大概念y，对任意x∈h有x＜y；存在概念集hi(i＝0,1,…n-1)使得且若hi中一个概念的父结点在hj中，则hi中所有概念的父结点都在hj中(i≠j))，则衍生物、农产品分类和农残污染程度概念树可分别表示为H1、H2(不同国家有所不同，此处统一以H2表示)和H3；B2.根据A中处理所得的数据集及国家区域规划标准数据，构建采样点地区概念树H4；步骤C所述操作包括的步骤具体为：C1.逐一判断A数据集中元组的农药是否为衍生物，如果不是，则不对该元组做特殊处理，而如果为衍生物，则根据B中H1构造，将农药子结点hi对应检测结果值v(hi)进行累加合并处理，来代替其父结点值v(hj)，也即v(hj)＝∑v(hi)，其中hi＜hj；并将累加合并后浓缩汇总的对应元组的结点名称用父结点名称做统一关联代替，从而符合实际分析需要，为后续污染判定与分析提供依据，并缩小元组总体规模；C2.根据各国家(地区)的违禁药品规定及A中元组的农药性质建立禁药维表；C3.根据C2所得维表判断数据记录中的农药是否为禁药，如若是，则直接针对该记录进行业务标记及污染本文档来自技高网...

【技术保护点】
一种农药残留侦测数据的融合处理方法，所述融合处理方法基于概念层次树进行数据属性关系映射及数据层次化分类，包括通过数据格式转换及补充过程、农药衍生物及禁药信息处理过程、农产品类别归属判定过程和污染等级判定过程，对农药残留侦测数据进行融合处理，获得农药残留侦测数据中不同层次属性值之间的关系，形成完备可靠的分析数据集，可用于进一步统计分析；具体包括如下步骤：A.针对农残侦测原始数据，执行数据类型及格式的转换和信息补充，得到待处理数据集；B.根据A所得的待处理数据集、最大农药残留限量MRL标准数据和领域知识，构建生成农药残留侦测数据的概念层次树，包括农药衍生物概念层次树H

【技术特征摘要】
1.一种农药残留侦测数据的融合处理方法，所述融合处理方法基于概念层次树进行数据属性关系映射及数据层次化分类，包括通过数据格式转换及补充过程、农药衍生物及禁药信息处理过程、农产品类别归属判定过程和污染等级判定过程，对农药残留侦测数据进行融合处理，获得农药残留侦测数据中不同层次属性值之间的关系，形成完备可靠的分析数据集，可用于进一步统计分析；具体包括如下步骤：A.针对农残侦测原始数据，执行数据类型及格式的转换和信息补充，得到待处理数据集；B.根据A所得的待处理数据集、最大农药残留限量MRL标准数据和领域知识，构建生成农药残留侦测数据的概念层次树，包括农药衍生物概念层次树H1、农产品分类概念层次树H2、农残污染程度概念层次树H3和采样点地区概念树H4；C.根据B中概念层次树，对农药进行衍生物及禁药业务的逻辑判断及处理；D.根据B中概念层次树，判断待处理数据集中的数据元组对应的农产品的类别归属和所在层次，参照MRL评判标准，逐级进行污染等级判定；E.生成最终的污染等级判定结果记录，将其存入侦测结果数据库；F.如若数据文件中有多条记录，则重复上述步骤C至E，直至所有记录处理完成，形成可靠的分析数据集。2.如权利要求1所述方法，其特征是，步骤A具体为：A1.制定统一的属性规范，根据业务分析需求和数据字段特征，执行数据类型及格式转换，将原始检测数据转换为基础数据库对应的字段列表；A2.建立不同数据源维表间的属性映射关系，保证属性描述的一致性；A3.针对原始检测数据对应属性进行信息扩充。3.如权利要求2所述方法，其特征是，A1所述基础数据库包括农产品信息数据库、农药信息数据库、MRL数据库和地域信息数据库。4.如权利要求2所述方法，其特征是，A3所述信息扩充具体为：针对样品类别、地域信息、农药信息、MRL信息和采样时间进行完整性判定、完善和补充；包括验证数据文件中的农产品和农药的基本信息是否正确，如果不正确则给予修正提示；如正确，则结合基础数据库中的信息进行数据融合和扩充。5.如权利要求1所述方法，其特征是，步骤B构建概念层次树具体为：B1.设定＜表示“一般一特殊”的关系，将概念层次偏序集表示为H＝(h，＜)，其中h是一个有限的概念集，＜是h上的一个偏序，且该概念层次满足：在h中存在一最大概念y，对任意x∈h有x＜y；存在概念集hi(i＝0,1,…n-1)使得且当hi中一个概念的父结点在hj中时，hi中所有概念的父结点都在hj中(i≠j)；由此将衍生物概念树、农产...

【专利技术属性】
技术研发人员：陈谊，杜晓敏，孙悦红，杨倩玉，
申请(专利权)人：北京工商大学，
类型：发明
国别省市：北京,11