一种基于智能识别的自动化数据管理系统技术方案

一种基于智能识别的自动化数据管理系统,对识别对象数据源进行特征分析,得到识别对象数据源和模板的表格和表格字段对应关系,将数据源模板配套SQL中，模板的数据源、表格、字段替换为识别对象中对应的名称，运行检索结果，不同源的数据库集成检索合并记录，并写入统计图表的数据源部分，被统计图片或报表引用．生成大数据分析统计报表，在计划时间启动，实现无人工值守的智能大数据采集、分析、统计的功能，进而为智能制造提供高效可靠的统筹决策计划的依据。划的依据。划的依据。

【技术实现步骤摘要】
一种基于智能识别的自动化数据管理系统


[0001]本专利技术涉及智能制造装备领域，具体涉及一种基于智能识别的自动化数据管理系统。

技术介绍

[0002]二十一世纪人类的制造装备的产业进入大数据时代，数据的采集、整理、统计、分析，对工业制造产业链的管理决策、资源优化、提高绩效更为重要,
在数据库处理方面也有蓬勃的发展，市场上有了navicat等成熟的软件,一方面，现有大数据管理软件仅限于提供方便快捷的检索工具，需要数据分析师洞察各种表格及表格字段的定义，给予关联运算的脚本，数据分析师遇到一个新数据源时候,就得花相当长的时间,了解数据库中表格及表格字段的各种内涵定义.熟悉架构,之后才能进行数据分析，十分消耗时间，严重制约了工业制造装备产业决策管理效能的统筹安排；另外一方面，遇到多种数据源的数据，表格及表格字段的命名规范不统一，数据分析师则需要花更多的精力去统筹分析，对非关系型数据库分析方面的现有技术有：CN107491544 B一种增强非关系型数据库分析能力的数据处理平台、CN102201986A非关系型数据库Cassandra中分区路由方本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于智能识别的自动化数据管理系统，其特征是：包含的模块有：数据源连接模块、标准数据源模板模块，智能分析模块，智能编辑查询模块，用户自定义模块；所述数据源连接模块，配置用户界面，供用户选择下拉表选择数据源类型、填写连接数据源的ip地址、数据源名称、户名、密码，ssh跳板机ip地址、用户名、密码这些连接数据源必要的参数；保存所述连接信息后，在启动时，根据数据源类型结合用户输入的连接参数运行对应的连接代码 ，向服务器发送连接请求，生成数据源连接池，等待调用；所述标准数据源模板模块，执行的步骤有：创建数据库、表及表字段名称的标准数据源模板M(、、...)，每个标准数据源模板配套一组表格模板B(、、...),每个表格模板配套一组字段模板Z(、、...) , 表格模板B中的一个或一组元素对应从属标准数据源模板M的一个元素，字段模板Z中的一个或一组元素对应从属表格模板B的一个元素，其中所有所述模板配套一组特征识别规则；每条所述特征识别规则内容包括：特征识别规则所映射的标准数据源模板名称及id号、识别权重系数K、识别所对应的对象、识别对象的类别、特征识别计算规则、特征识别规则相似度算法的代码、被识别的信息内容来源、特征识别相似度算法、默认结果阈值C、否定阈值F；所述标准数据源模板M(、、...)，都配套一组SQL查询模板，所述数据源的数据类型包括数据库、excel表格、文本、网页；所述智能分析模块，通过特征识别规则相似度算法，为识别对象数据源在标准数据源模板中找到匹配值最高的标准数据源模板，并形识别对象成数据源和匹配数据源模板之间的表、字段的对应关系；在连接用户数据源后，所连接的数据源即为被识别的数据源对象,分别获得所述被识别的信息内容：a、数据库系统自带的数据库中和用户数据库、表格、字段相关的信息，b、通过抽样数据源中获取指定数量表格字段中对应的非空记录；所述识别对象的类别依照识别的先后顺序分为：识别数据源、识别数据源的表格、识别数据源表格的列字段；为特征识别值设置两个阈值，分别为：默认结果阈值C，否定阈值F，当识别值大于等于默认结果阈值时，判定当前识别值所映射的模型识别对象为对应关系，当识别参数值小于否定阈值时，判定当前识别值所映射的模板和识别对象为非对应关系，具体执行的步骤为：step1、识别对象依据对应的模板配套的一组特征识别规则计算出识别值T,分别和默认结果阈值C、否定阈值F进行比对，当T值大于C值时，T所对应的模板即和当前识别对象对应，完成所述识别对象的识别计算，进行下个识别对象的运算；step2、当T值小于否定阈值F时，T所对应的模板归一化识别值P赋值为0，并继续下个模板作为基准的识别计算；step3，将同一模板所对应的T 进行归一化特征识别相似度算法运算，按照模板所属特征识别相似度算法，依次算出T值，，然后进行归一化计算识别值，计算公式如下：,
ꢀ
N为模板所属特征识别规则的条数，T为根据识别规则计算出的识别值, K为特征识别规则权重调节系数，P为模板所属特征识别规则的识别值归一化后的值；这样识别对象以对应模板进行识别获得数值P(、、、
…
)，通过循环比对获得P中的最大值为， 对应的模板根据设置决定默认识别对象对应的识别结果，或将对应的模板中参数和识别对象中的参数罗列到用户判断界面由用户选择判定来决定对应或非对应关系；重复以上3步骤的方法，计算所有识别对象，获得识别对象和模板的对应关系；将数据源模板配套的SQL查询模板内容中，模板的数据源、表格、字段替换为识别对象中对应的名称，运行替换后的SQL查询模板代码获得对象的sql检索运算结果；所述智能编辑查询模块，在智能编辑查询模块中设置工作计划子模块，工作计划模块设置连接数据库，用户使用SQL查询，将标准模板的数据源、表格、字段名称，替换成识别对象数据源对应的表格及字段名称，形成替换后的SQL查询脚本，用于检索获得数据；所述用户自定义模块，通过智能分析模块计算后的结果，即将所有模板中参数和识别对象中的参数罗列到用户判断界面 由用户选择选择确认矫正对应或非对应关系；创建编辑脚本模板，以标准数据源模板中的数据库及其表格和列字段的名称，建立操作...

【专利技术属性】
技术研发人员：吴子涵，陈欣，
申请(专利权)人：南通九维软件科技有限公司，
类型：发明
国别省市：