一种大数据分类规则的优化方法和装置制造方法及图纸

本发明专利技术提供了一种大数据分类规则的优化方法和装置，解决现有规则定制过程缺乏有效的复用和改进的技术问题。包括：建立存储规则的数据结构；通过所述数据结构形成确定主题的规则集；根据所述规则集对源数据进行场景分类。利用数据结构形成主题分类和场景分类的完整拓扑结构，将不同分类过程的参数进行有序配置，使得大数据分类模型复杂的参数引用过程形成结构化分类体系，使得分类模型中的分类迭代参数数据、关键枚举数据、分类过程阈值调整区间都可以有效管理和合理配置，使得大数据分类模型针对源数据特征变化具有适度调整的技术手段，避免针对源数据形成过程的客观场景的演变频繁调整训练集和学习过程，降低了大数据分类的时间成本和人工成本。

An Optimized Method and Device for Classification Rules of Large Data

【技术实现步骤摘要】
一种大数据分类规则的优化方法和装置
本专利技术涉及数据分类
，具体涉及一种大数据分类规则的优化方法和装置。
技术介绍
现有技术中，大数据分类是通过有效数据分类方法获得数据间的相似特征，根据相似特征将数据划分为不同类别，并根据类别进行进一步特征处理。数据分类方法中自学习分类方法受训练集限制，形成的分类模型与大数据行业领域正相关，分类模型不具有通用性。同时受限于分类模型的训练集数据人力成本和训练时间成本，针对灵活的数据分类场景只能实现固定分类类别的高效处理，不能对源数据演化过程中的数据分类类型变化做出及时调整。使得分类模型的分类规则不具有系统性和延续性，规则定制过程缺乏有效的复用和改进的可能性，无法针对数据分类主题场景的变化形成通用的分类规则定制手段。这就直接导致在内存环境中相应的数据数理模型对模型组成数据和模型寻址架构缺乏有效的寻址和操作能力，使得数据和模型寻址无法有效重复利用，大大增加了模型重构的各种成本。
技术实现思路
鉴于上述问题，本专利技术实施例提供一种大数据分类规则的优化方法和装置，解决现有规则定制过程缺乏有效的复用和改进的技术问题。本专利技术实施例的大数据分类规则的优化方法，包括：建立存储规则的数据结构；通过所述数据结构形成确定主题的规则集；根据所述规则集对源数据进行场景分类。本专利技术一实施例中，还包括：对所述规则集进行解析并更新存储规则。本专利技术一实施例中，还包括：对所述规则集进行解析并获取局部数据结构和规则进行转发。本专利技术一实施例中，所述建立存储规则的数据结构包括：设定单一规则的结构字段；设定单一规则的字段关键词和复合字段关键词；根据单一规则的字段拓扑结构形成所述规则的数据结构。本专利技术一实施例中，所述通过所述数据结构形成确定主题的规则集包括：建立规则集关键词；建立规则集的规则集子集和对应的子集关键词；建立规则集子集的场景集和对应的场景关键词；根据所述规则集关键词、所述子集关键词或所述场景关键词建立关键词拓扑结构；在所述关键词拓扑结构中增加规则的数据结构，在所述规则的数据结构中添加规则参数或相关参数。本专利技术一实施例中，所述根据所述规则集对源数据进行场景分类包括：根据初步分类确定对应的初步源数据；在规则集中确定与所述初步分类对应的规则集；从所述规则集提取场景分类类别及场景分类参数数据；利用所述场景分类参数数据对所述初步源数据进行分类，形成确定初步分类下的所述场景分类类别下对应的分类源数据；根据所述分类源数据形成初步分类的结果分类数据。本专利技术一实施例中，所述对所述规则集进行解析并更新存储规则包括：获取确定分类和确定场景的更新需求；根据所述更新需求确定规则数据结构和规则内容，通过交互框架显示；将更新内容通过所述交互框架更新对应的所述规则数据结构和规则内容。本专利技术一实施例中，所述对所述规则集进行解析并获取局部数据结构和规则进行转发包括：根据转发需求获取确定分类和确定场景的数据结构的关联拓扑结构；根据所述关联拓扑结构形成临时规则数据结构和规则内容；将所述临时规则数据结构和规则内容形成独立数据对象，提供数据链接。本专利技术实施例的大数据分类规则优化装置，包括：存储器，用于存储图权利要求1至8任意所述的大数据分类规则优化方法处理过程对应的程序代码；处理器，用于执行所述程序代码。本专利技术实施例的大数据分类规则优化装置，包括：规则设置模块，用于建立存储规则的数据结构；规则形成模块，用于通过所述数据结构形成确定主题的规则集；规则应用模块，用于根据所述规则集对源数据进行场景分类。本专利技术实施例的大数据分类规则优化方法和装置利用数据结构形成主题分类和场景分类的完整拓扑结构，将不同分类过程的参数进行有序配置，使得大数据分类模型复杂的参数引用过程形成结构化分类体系，使得分类模型中的分类迭代参数数据、关键枚举数据、分类过程阈值调整区间都可以有效管理和合理配置，使得大数据分类模型针对源数据特征变化具有适度调整的技术手段，避免针对源数据形成过程的客观场景的演变频繁调整训练集和学习过程，降低了大数据分类的时间成本和人工成本，提高了大数据分类模型的应用通用性和模型容忍度。附图说明图1所示为本专利技术一实施例大数据分类规则优化方法的流程示意图。图2所示为本专利技术一实施例大数据分类规则优化方法中建立数据结构的流程示意图。图3所示为本专利技术一实施例大数据分类规则优化方法中建立规则集的流程示意图。图4所示为本专利技术一实施例大数据分类规则优化方法中进行场景分类的流程示意图。图5所示为本专利技术一实施例大数据分类规则优化方法中对规则进行数据处理的流程示意图。图6所示为本专利技术一实施例大数据分类规则优化装置的架构示意图。图7所示为本专利技术一实施例数据展示的分类优化方法的流程示意图。图8所示为本专利技术一实施例数据展示的分类优化方法中形成分类数据结构、建立分类类别和关联相关数据的流程示意图。图9所示为本专利技术一实施例数据展示的分类优化装置的架构示意图。图10所示为本专利技术一实施例数据分类优化方法的主要流程示意图。图11所示为本专利技术一实施例数据分类优化方法的详细流程示意图。图12所示为本专利技术一实施例数据分类优化装置的架构示意图。图13所示为本专利技术一实施例分类交互界面的数据处理方法的主要流程示意图。图14所示为本专利技术一实施例分类交互界面的数据处理方法的详细流程示意图。图15所示为本专利技术一实施例分类交互界面的数据处理装置的架构示意图。具体实施方式为使本专利技术的目的、技术方案及优点更加清楚、明白，以下结合附图及具体实施方式对本专利技术作进一步说明。显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。步骤的编号与数据处理的过程无关。本专利技术一实施例的大数据分类规则优化方法如图1所示。在图1中，本实施例包括：步骤110：建立存储规则的数据结构。数据结构用于存储规则的具体参数，根据具体参数据确定每一条规则对大数据源数据的分类基准、形成分类过程。规则可以是具体参数或关联参数的数值、字符串、特征向量值、数据引用位置、数据判断逻辑或规则校验数据等，数据结构与规则的具体参数或关联参数具有适配通用性，适配通用性保证数据结构适应具体参数或关联参数的类型和量值。步骤120：通过数据结构形成确定主题的规则集。数据演化过程与客观环境中源数据形成的过程变化相匹配，分类场景的变化可以响应分类主题的源数据的数据演化过程，分类场景的集合确定了分类主题的分类特征，分类主题包括进一步细致的分类场景。利用数据结构存储与分类场景对应的具体参数或关联参数，通过数据结构将分类场景对应的规则构成单一主题的规则集。步骤130：根据规则集对源数据进行场景分类。根据规则集进行源数据主题分类，在形成数据主题分类的基础上形成主题分类中不同场景的分类。根据规则集中规则参数的类型、参数含义和参数间形成的判断逻辑，进行场景分类时规则集中规则参数也可以用于检索、排序或排除等数据处理过程。本专利技术实施例的大数据分类规则优化方法利用数据结构形成主题分类和场景分类的完整拓扑结构，将不同分类过程的参数进行有序配置，使得大数据分类模型复杂的参数引用过程形成结构化分类体系，使得分类模型中的分类迭代参数数据、关键枚举数据、分类过程阈值调整区间都本文档来自技高网...

【技术保护点】
1.一种大数据分类规则的优化方法，其特征在于，包括：建立存储规则的数据结构；通过所述数据结构形成确定主题的规则集；根据所述规则集对源数据进行场景分类。

【技术特征摘要】
1.一种大数据分类规则的优化方法，其特征在于，包括：建立存储规则的数据结构；通过所述数据结构形成确定主题的规则集；根据所述规则集对源数据进行场景分类。2.如权利要求1所述的大数据分类规则的优化方法，其特征在于，还包括：对所述规则集进行解析并更新存储规则。3.如权利要求2所述的大数据分类规则的优化方法，其特征在于，还包括：对所述规则集进行解析并获取局部数据结构和规则进行转发。4.如权利要求3所述的大数据分类规则的优化方法，其特征在于，所述建立存储规则的数据结构包括：设定单一规则的结构字段；设定单一规则的字段关键词和复合字段关键词；根据单一规则的字段拓扑结构形成所述规则的数据结构。5.如权利要求3所述的大数据分类规则的优化方法，其特征在于，所述通过所述数据结构形成确定主题的规则集包括：建立规则集关键词；建立规则集的规则集子集和对应的子集关键词；建立规则集子集的场景集和对应的场景关键词；根据所述规则集关键词、所述子集关键词或所述场景关键词建立关键词拓扑结构；在所述关键词拓扑结构中增加规则的数据结构，在所述规则的数据结构中添加规则参数或相关参数。6.如权利要求3所述的大数据分类规则的优化方法，其特征在于，所述根据所述规则集对源数据进行场景分类包括：根据初步分类确定对应的初步源数据；在规则集中确定与所述初步分类对应的规则集；...

【专利技术属性】
技术研发人员：黄浩，
申请(专利权)人：北京中科智营科技发展有限公司，
类型：发明
国别省市：北京,11