一种基于ORM框架的数据交互处理方法及系统技术方案

本发明专利技术提供的一种基于ORM框架的数据交互处理方法及系统，所述处理方法包括：采用数据源的相关配置转化成适配数据源读取的规则；将不同数据源的数据构建成统一规则的数据类型，获得统一化数据；将所述统一化数据转化成查询所需要的数据集结构。提供统一的数据集定义结构，解决需要大量复杂动态的查询，以及查询的结果集需要经过深度处理的场景，让数据处理变得更加强大，易用、便捷。便捷。便捷。

【技术实现步骤摘要】
一种基于ORM框架的数据交互处理方法及系统


[0001]本专利技术涉及数据交互领域，尤其涉及一种基于ORM框架的数据交互处理方法及系统。

技术介绍

[0002]现有数据处理方法，需要非常明确的实体，对于模糊不清，不确定的数据无法做出数据的计算处理，对于传统的常用计算，需要编写大量的编码才能得以实现。
[0003]一般的项目模块中都有DAO、Entity、Service、Controller层，思维比较固定，已经非常明确的实体执行增删改查操作，基于spring
‑
jdbc生态的(No
‑
ORM)数据库操作工具，以最简单、快速、动态的方式操作数据库，在一个系统多个库的情况下，提供一致的编写代码方式，并对返回的结果进行简单的数据处理。

技术实现思路

[0004]鉴于上述问题，提出了本专利技术以便提供克服上述问题或者至少部分地解决上述问题的一种基于ORM框架的数据交互处理方法及系统。
[0005]根据本专利技术的一个方面，提供了一种基于ORM框架的数据交互处理方法，所述处理方法包括：
[0006]采用数据源的相关配置转化成适配数据源读取的规则；
[0007]将不同数据源的数据构建成统一规则的数据类型，获得统一化数据；
[0008]将所述统一化数据转化成查询所需要的数据集结构。
[0009]可选的，所述采用数据源的相关配置转化成适配数据源读取的规则具体包括：
[0010]定义类注解实现类和数据表名关联；
[0011]定义属性注解
‑
显示类中属性与数据库字段属性关联；
[0012]定义类、添加注解；
[0013]完成解析类，利用反射机制获取注解的属性，拼接为sql语句。
[0014]可选的，所述将不同数据源的数据构建成统一规则的数据类型具体包括：
[0015]对原始数据源的数据进行检测分析，获得所述原始数据源中存在的数据质量问题；
[0016]选择需要进行分析的数据集中的数据列，对未参与分析的数列进行隐藏处理；
[0017]去除不需要的字段；
[0018]如果数据集中出现同样的列名称，对第二次出现的列名称进行重命名；
[0019]对数据集中的缺失值进行处理；
[0020]对列数据集中的数据进行筛选排序，升序，降序排列函数的应用；
[0021]对所述原始数据的异常值进行处理。
[0022]可选的，所述去除不需要的字段步骤后还包括：先对数据进行备份，或者先进行小规模的数据实验，确定无误后，应用到大量的数据上。
[0023]可选的，所述对所述原始数据的异常值进行处理具体包括：
[0024]直接将含有异常值的记录删除，采用整条删除和成对删除；
[0025]利用处理缺失值的方法来处理，如果数据的样本量小于修正阈值，采用前后两个观测值的平均值来修正该异常值；
[0026]数据集中存在一个数据列的数据至标准不一致或命名规则不一致的情况，将不一致的数据列中的数据值进行拆分。
[0027]可选的，所述将所述统一化数据转化成查询所需要的数据集结构具体包括：
[0028]将数据标准化处理，获得标准数据；
[0029]将所述标准数据进行数据泛化处理。
[0030]可选的，所述将数据标准化处理具体包括：
[0031]将数据按比例缩放，使数据都落在一个特定的区间，使得数据标准统一化；
[0032]最大
‑
最小标准化
[0033]其中B＝min(x)，A＝max(x)，x为一序列，即x＝{x1,x2,x3......}，max(x)为最大值，min(x)为最小值；
[0034]采用Z
‑
Score标准化处理，通过总体数据的均值μ，总体数据的标准差σ以及个体的观测值x，并代入Z
‑
Score的公式即可实现标准化，即:
[0035]把数变为(0，1)之间的小数；
[0036]主要是为了数据处理方便提出来的，把数据映射到0～1范围之内处理，更加便捷快速，应该归到数字信号处理范畴之内；
[0037]Z＝log10(x)/log10(max)，其中，log10(x)为以10为底的对数转换函数；
[0038]log10(max)，其中max表示样本数据的最大值，并且所有样本数据均要大于等于1；
[0039]归一化是一种简化计算的方式，将有量纲的表达式，经过变换，化为无量纲的表达式，成为纯量,将数据统一为标准原则。
[0040]可选的，所述将所述标准数据进行数据泛化处理具体包括：
[0041]数据泛化为将数据的分层结构进行定义，把最底层粒度的数据不断抽象化；
[0042]数据泛化包括：属性删除、领域泛化、分类泛化和实体泛化；
[0043]所述领域泛化具体为通过对指定字段IK分词器适宜分割，按照字典库的属性进行有规则，无差别校验字段相似度匹配,设定属性阈值，根据实际值上钻或者下钻调整。
[0044]可选的，所述分类泛化具体包括：
[0045]按照预配置的字典库，解析数据字段；
[0046]按照分类匹配规则进行数据划分，通过查询处理收集数据库中的相关数据，并划分成一个目标类和一个或多个对比类,广义关系阈值控制,设置元组个数。
[0047]本专利技术还提供了一种基于ORM框架的数据交互处理系统，所述处理系统具体包括：
[0048]数据读取模块，用于采用数据源的相关配置转化成适配数据源读取的规则；
[0049]数据构建模块，用于采用将不同数据源的数据构建成统一规则的数据类型，获得统一化数据；
[0050]数据计算模块，用于采用将所述统一化数据转化成查询所需要的数据集结构。
[0051]本专利技术提供的一种基于ORM框架的数据交互处理方法及系统，所述处理方法包括：采用数据源的相关配置转化成适配数据源读取的规则；将不同数据源的数据构建成统一规则的数据类型，获得统一化数据；将所述统一化数据转化成查询所需要的数据集结构。提供统一的数据集定义结构，解决需要大量复杂动态的查询，以及查询的结果集需要经过深度处理的场景，让数据处理变得更加强大，易用、便捷。
[0052]上述说明仅是本专利技术技术方案的概述，为了能够更清楚了解本专利技术的技术手段，而可依照说明书的内容予以实施，并且为了让本专利技术的上述和其它目的、特征和优点能够更明显易懂，以下特举本专利技术的具体实施方式。
附图说明
[0053]为了更清楚地说明本专利技术实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
[0054]图1为本专利技术实施例提供的一种基于ORM框架的数据交互处理方法的流程图；
[0055]图2本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于ORM框架的数据交互处理方法，其特征在于，所述处理方法包括：采用数据源的相关配置转化成适配数据源读取的规则；将不同数据源的数据构建成统一规则的数据类型，获得统一化数据；将所述统一化数据转化成查询所需要的数据集结构。2.根据权利要求1所述的一种基于ORM框架的数据交互处理方法，其特征在于，所述采用数据源的相关配置转化成适配数据源读取的规则具体包括：定义类注解实现类和数据表名关联；定义属性注解
‑
显示类中属性与数据库字段属性关联；定义类、添加注解；完成解析类，利用反射机制获取注解的属性，拼接为sql语句。3.根据权利要求1所述的一种基于ORM框架的数据交互处理方法，其特征在于，所述将不同数据源的数据构建成统一规则的数据类型具体包括：对原始数据源的数据进行检测分析，获得所述原始数据源中存在的数据质量问题；选择需要进行分析的数据集中的数据列，对未参与分析的数列进行隐藏处理；去除不需要的字段；如果数据集中出现同样的列名称，对第二次出现的列名称进行重命名；对数据集中的缺失值进行处理；对列数据集中的数据进行筛选排序，升序，降序排列函数的应用；对所述原始数据的异常值进行处理。4.根据权利要求3所述的一种基于ORM框架的数据交互处理方法，其特征在于，所述去除不需要的字段步骤后还包括：先对数据进行备份，或者先进行小规模的数据实验，确定无误后，应用到大量的数据上。5.根据权利要求3所述的一种基于ORM框架的数据交互处理方法，其特征在于，所述对所述原始数据的异常值进行处理具体包括：直接将含有异常值的记录删除，采用整条删除和成对删除；利用处理缺失值的方法来处理，如果数据的样本量小于修正阈值，采用前后两个观测值的平均值来修正该异常值；数据集中存在一个数据列的数据至标准不一致或命名规则不一致的情况，将不一致的数据列中的数据值进行拆分。6.根据权利要求3所述的一种基于ORM框架的数据交互处理方法，其特征在于，所述将所述统一化数据转化成查询所需要的数据集结构具体包括：将数据标准化处理，获得标准数据；将所述标准数据进行数据泛化处理。7.根据权利要求6所述的一种基于ORM框架的数据交互处理方法，其特征在于，所述将数据标准...

【专利技术属性】
技术研发人员：马奔，刘佳佳，尤晓飞，
申请(专利权)人：北京水脉科技有限公司，
类型：发明
国别省市：