本发明专利技术涉及一种大数据环境下基于多方式结合实现数据编码优化管理的系统，包括资产编码定义模块，用于根据管理对象进行编码定义，维护基础标准体系来满足当前场景需求；编码管理模块，用于根据实际需求对已有的编码规范进行操作管理，绑定数据模型字段；编码组合模块；数据校验模块；数据输出模块，用于将经过处理的业务数据进行整理输出。本发明专利技术还涉及一种实现大数据环境下基于多方式结合的数据编码优化管理的方法。采用了该系统和方法，本发明专利技术通过设计多种编码方式结合的编码管理方式来解决目前数据资产管理当中遇到的复杂的数据管理需求，达到灵活、高效和充分使用数据的目的，提高数据资产管理系统的管理效率和数据价值。
【技术实现步骤摘要】
大数据环境下基于多方式结合实现数据编码优化管理的系统及方法
本专利技术涉及数据资产管理领域，尤其涉及资产编码优化管理领域，具体是指一种大数据环境下基于多方式结合实现数据编码优化管理的系统及方法。
技术介绍
互联网的快速发展使数据呈爆炸式增长，电信、政府、金融、房产等领域产生大量的数据。在数据领域，像hive、hbase等这些炙手可热的组件或者是一些高级算法都是在数据有效治理和使用的基础上才能发挥作用。数据资产管理是将数据规划整理后提供出去的一种管理方式，包括整个数据的流程和走向，通过有效的管理实现数据价值。其中，数据编码是数据资产管理的一个重要组成部分，数据编码方法的好坏直接影响数据提取、可否满足业务场景、能否准确使用数据等方面，一定程度影响着数据资产管理的效率。目前，针对数据资产管理中，现有技术的数据的编码方法是根据实际数据描述对象的特点，将其分类并且对其进行数字编码来进行管理，具体的步骤如下：1)根据管理对象进行梳理、分类、定义规则、设置对应编码；2)根据步骤1)中的定义规则判断描述信息是否正确，如果不正确则提示错误信息，直到完全正确后进入步骤3)，如果正确，则直接进入步骤3)；3)结合步骤1)和步骤2)反馈的结果，提取符合条件的数据信息；4)根据3)中的数据结果，与系统信息进行比对；5)根据4)中比对结果，将数据整理输出。根据以上步骤创建出的编码、描述和数据之间的关系是有效的，适合处理一些简单的需求，但是对于特殊的编码定义、多种方式的编码管理不能满足，在使用上也会有诸多不便。现有的数据资产管理中，编码管理是通过标准编码的分发和控制，规范和统一编码标准，实现系统数据同步管理，并进行对应和匹配，为系统数据集成提供基础标准编码支撑。形成适应企业信息技术应用特色的基础编码标准体系，为实现数字化提供基础平台支撑。目前的这种编码方式能够满足普通、单一的数据资产编码管理，如果需要面对复杂、多方式的数据资产编码管理需求，比如说是特征、流水、时间、日期及多种编码方式相组合的场景等该编码管理方式是无法满足需求的，针对该问题，通过设计特征码、流水码、时间码、日期码及多种编码相结合多方式的编码管理方式，来维护一套基础标准体系来满足目前的场景需求，达到灵活管理，高效、充分使用数据的目的。
技术实现思路
本专利技术的目的是克服了上述现有技术的缺点，提供了一种满足灵活性、高效性、管理效率高的大数据环境下基于多方式结合实现数据编码优化管理的系统及方法。为了实现上述目的，本专利技术的大数据环境下基于多方式结合实现数据编码优化管理的系统及方法如下：该大数据环境下基于多方式结合实现数据编码优化管理的系统，其主要特点是，所述的系统包括：资产编码定义模块，用于根据管理对象进行编码定义，维护基础标准体系来满足当前场景需求；编码管理模块，与所述的资产编码定义模块相连接，用于根据实际需求对已有的编码规范进行操作管理，绑定数据模型字段；编码组合模块，与所述的编码管理模块相连接，用于将不同编码根据需求进行相互组合管理；数据校验模块，与所述的编码组合模块相连接，用于对已绑定的模型下的业务字段和已定义的标准体系规则进行校验；数据输出模块，与所述的数据校验模块相连接，用于将经过处理的业务数据进行整理输出。较佳地，所述的资产编码定义模块进行编码定义的操作包括数据梳理、分类、定义规则、设置对应编码以及编码对应的业务含义。较佳地，所述的资产编码定义模块通过树形结构进行编码管理。较佳地，所述的资产编码定义模块的编码方式包括固定码、特征码、流水码、日期码、引用码和日期流水码。较佳地，所述的编码方式均包括码段编码、码段名称、码段类型、码段前缀和码段后缀。较佳地，所述的编码组合模块对单编码管理进行编码管理。该基于上述系统实现大数据环境下基于多方式结合的数据编码优化管理的方法，其主要特点是，所述的方法包括以下步骤：(1)所述的资产编码定义模块对资产编码进行分类，并定义编码种类和含义；(2)所述的编码管理模块已有的编码规范进行操作管理，并绑定数据模型字段；(3)所述的编码组合模块将不同编码根据需求进行相互组合管理；(4)所述的数据校验模块校验编码规则下业务字段的数据；(5)所述的数据输出模块将经过处理的业务数据进行整理输出。较佳地，所述的步骤(4)具体包括以下步骤：(4.1)所述的数据校验模块对当前数据进行校验；(4.2)所述的数据校验模块对绑定的编码字段进行校验，判断校验是否通过，如果是，则校验下一条数据，继续步骤(4.1)，直至所有数据校验完成；否则，继续步骤(4.3)；(4.3)所述的数据校验模块输出状态为业务异常，并进行人工校正，校验下一条数据，继续步骤(4.1)，直至所有数据校验完成。采用了本专利技术的大数据环境下基于多方式结合实现数据编码优化管理的系统及方法，本专利技术通过设计特征码、流水码、日期码、时间码等及多种编码方式结合的编码管理方式来解决目前数据资产管理当中遇到的复杂、多方式的数据管理需求，达到灵活、高效和充分使用数据的目的，提高数据资产管理系统的管理效率和数据价值。附图说明图1为本专利技术的大数据环境下基于多方式结合实现数据编码优化管理的系统的结构图。图2为本专利技术的实现大数据环境下基于多方式结合的数据编码优化管理的方法的流程图。图3为本专利技术的实现大数据环境下基于多方式结合的数据编码优化管理的方法的数据校验模块的流程图。具体实施方式为了能够更清楚地描述本专利技术的
技术实现思路
，下面结合具体实施例来进行进一步的描述。本专利技术的该大数据环境下基于多方式结合实现数据编码优化管理的系统，其中包括：资产编码定义模块，用于根据管理对象进行编码定义，维护基础标准体系来满足当前场景需求；编码管理模块，与所述的资产编码定义模块相连接，用于根据实际需求对已有的编码规范进行操作管理，绑定数据模型字段；编码组合模块，与所述的编码管理模块相连接，用于将不同编码根据需求进行相互组合管理；数据校验模块，与所述的编码组合模块相连接，用于对已绑定的模型下的业务字段和已定义的标准体系规则进行校验；数据输出模块，与所述的数据校验模块相连接，用于将经过处理的业务数据进行整理输出。作为本专利技术的优选实施方式，所述的资产编码定义模块进行编码定义的操作包括数据梳理、分类、定义规则、设置对应编码以及编码对应的业务含义。作为本专利技术的优选实施方式，所述的资产编码定义模块通过树形结构进行编码管理。作为本专利技术的优选实施方式，所述的资产编码定义模块的编码方式包括固定码、特征码、流水码、日期码、引用码和日期流水码。作为本专利技术的优选实施方式，所述的编码方式均包括码段编码、码段名称、码段类型、码段前缀和码段后缀。作为本专利技术的优选实施方式，所述的编码组合模块对单编码管理进行编码管理。本专利技术的该基于上述系统实现大数据环境下基于多方式结合的数据编码优化管理的方法，其中包括以下步骤：(1)所述的资产编码定义模块对资产编码进行分类，并定义编码种类和含义；(2)所述的编码管理模块已有的编码规范进行操作管理，并绑定数据模型字段；(3)所述的编码组合模块将不同编码根据需求进行相互组合管理；(4)所述的数据校验模块校验编码规则下业务字段的数据；(4.1)所述的数据校验模块对当前数据进行校验；(4.2)所述的数据校验模块对绑定的编码字段进行校验，判断校验是否本文档来自技高网...
【技术保护点】
1.一种大数据环境下基于多方式结合实现数据编码优化管理的系统，其特征在于，所述的系统包括：资产编码定义模块，用于根据管理对象进行编码定义，维护基础标准体系来满足当前场景需求；编码管理模块，与所述的资产编码定义模块相连接，用于根据实际需求对已有的编码规范进行操作管理，绑定数据模型字段；编码组合模块，与所述的编码管理模块相连接，用于将不同编码根据需求进行相互组合管理；数据校验模块，与所述的编码组合模块相连接，用于对已绑定的模型下的业务字段和已定义的标准体系规则进行校验；数据输出模块，与所述的数据校验模块相连接，用于将经过处理的业务数据进行整理输出。
【技术特征摘要】
1.一种大数据环境下基于多方式结合实现数据编码优化管理的系统，其特征在于，所述的系统包括：资产编码定义模块，用于根据管理对象进行编码定义，维护基础标准体系来满足当前场景需求；编码管理模块，与所述的资产编码定义模块相连接，用于根据实际需求对已有的编码规范进行操作管理，绑定数据模型字段；编码组合模块，与所述的编码管理模块相连接，用于将不同编码根据需求进行相互组合管理；数据校验模块，与所述的编码组合模块相连接，用于对已绑定的模型下的业务字段和已定义的标准体系规则进行校验；数据输出模块，与所述的数据校验模块相连接，用于将经过处理的业务数据进行整理输出。2.根据权利要求1所述的大数据环境下基于多方式结合实现数据编码优化管理的系统，其特征在于，所述的资产编码定义模块进行编码定义的操作包括数据梳理、分类、定义规则、设置对应编码以及编码对应的业务含义。3.根据权利要求1所述的大数据环境下基于多方式结合实现数据编码优化管理的系统，其特征在于，所述的资产编码定义模块通过树形结构进行编码管理。4.根据权利要求1所述的大数据环境下基于多方式结合实现数据编码优化管理的系统，其特征在于，所述的资产编码定义模块的编码方式包括固定码、特征码、流水码、日期码、引用码和日期流水码。5.根据权利要求4所述的大数据环境下基于多方式结合实现数据编码优化...
【专利技术属性】
技术研发人员：徐明明，
申请(专利权)人：普元信息技术股份有限公司，
类型：发明
国别省市：上海,31
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。