一种多源数据处理方法及系统技术方案

本发明专利技术公开了一种多源数据处理方法及系统，该系统包括注册模块、人机操作模块、数据审核模块、数据标记模块、数据整理模块、数据记录提取模块、数据定位模块、身份认证模块、数据检索调用模块、数据排版模块。本发明专利技术在数据库的数据中根据需要设置字段，将不同信息文档中的对应信息提取出来，形成相应的数据记录，然后通过自带的数据处理功能完成数据的处理和审核，在实现数据库实时更新的同时，避免了数据的重复、冲突，自动实现了数据的关联关系建立；同时也实现了在权限内的数据的共享，每个数据的录入均携带录入者的身份信息；且实现了数据的可追溯性，数据的储存和调用更加安全。

Multi source data processing method and system

The invention discloses a data processing method and system, the system includes registration module, man-machine operation module, data audit module, data marking module, data processing module, data record, data extraction module, positioning module, identity authentication module, data retrieval, data transfer module layout module. The present invention in the database data set in the field according to the extracted information corresponding to different information in the document, the formation of the corresponding data record, and then through its data processing function to complete the processing and review data, in real-time update the database at the same time, to avoid duplication, conflicting data, establish relationship data the automatic realization; but also realize the sharing within the purview of the data, each data entry carries the identity information input; and to achieve data traceability, storage and transfer data more secure.

【技术实现步骤摘要】

本专利技术涉及数据处理领域，具体涉及一种多源数据处理方法及系统。
技术介绍
随着社会的发展和科技的进步，个体或者团体之间的联系变得更加紧密，紧密的联系促进了信息的快速传播和增长，而当今世界早就进入了信息时代，随着信息的爆发式增长和积累，大数据时代已近来临，大数据的基本特征：数据量大、类型繁多、价值密度低、速度快时效高；对于大数据来说，关联关系比因果关系更加重要，这是大数据时代的论断，面对海量的信息，如何去分析某类信息之间的相关性，并以此分析出信息背后隐含价值，才在更高、更深的层面体现数据信息的价值，但是面对如此海量的数据，想要快速准确的分析出数据之间的关联关系，十分困难。针对特定的信息目标，如何分析该目标与其他目标之间的关联关系在很多领域具有更加实际的意义，因为具有关联关系的目标在进行各种活动时往往比单独的简单个体具有更大的影响面；而且具有关联关系的目标在对外建立各种活动时，受到内部的关联关系的相互牵制或者支持，会比简单目标的活动轨迹更加复杂。而在现实生活中，原始的信息数量规模庞大，关键信息的分布零散，信息的价值密度低，信息目标之间的关联关系非常复杂，而且一般是隐藏的，人们并不能通过表面活动或者表面信息察觉到，更加不易找出该目标是否和其他目标具有关联关系。在这样的情况下，这些隐含的关联关系会对人们的社会经济活动带来很多潜在的价值或者风险。同时现有的数据处理系统，大多采用人为进行数据储存位置的定位，很容易导致数据储存的混乱，同时数据之间也很容易造成冲突和重复，这无疑会加大数据查找功能的工作量，也使得的系统在进行资料查询时会发生错误，且所有的数据均不存在可追溯性。
技术实现思路
为解决上述问题，本专利技术提供了一种多源数据处理方法及系统，在数据库的数据中根据需要设置字段，将不同信息文档中的对应信息提取出来，形成相应的数据记录，然后通过自带的数据处理功能完成数据的处理和审核，在实现数据库实时更新的同时，避免了数据的重复、冲突，自动实现了数据的关联关系建立；同时也实现了在权限内的数据的共享，每个数据的录入均携带录入者的身份信息；且实现了数据的可追溯性，数据的储存和调用更加安全。为实现上述目的，本专利技术采取的技术方案为：一种多源数据处理系统，包括注册模块，用于在用户注册时，生成对应用户注册身份标识的生物特征模型，并将所述生物特征模型保存到用户注册数据库中；人机操作模块，用于用户登录并输入需要进行储存的数据，并将输入的数据发送到数据审核模块；还用于输入声纹数据，并将这些生物特征数据发送到身份认证模块；还用于输入数据调用命令；数据审核模块，用于根据预设的算法对接收到的数据进行审核，并将审核通过的数据发送到数据标记模块；数据标记模块，用于将接收到的数据用其对应的账户信息标记后发送到数据整理模块；数据整理模块，用于查找与所接收到的数据之间存在的冗余内容以及所输入数据与数据库内原有数据之间的冲突内容，并将冗余内容、冲突内容以对话框的形式进行显示，同时根据用户的选择进行冗余内容和冲突内容的清除；数据记录提取模块，用于根据设置的字段提取出整理后的数据对应的信息，形成相应的数据记录；数据定位模块，用于为提取的数据记录在数据库中找到合适的位置，并为其找到相似数据点，建立其与相似数据点之间的关系；身份认证模块，用于将接收到的生物特征数据与用户注册数据库内的数据进行相似度对比，并将对比结果发送到加密模块进行解码，若解码通过，则将接收到的数据调用命令发送到数据检索调用模块；数据检索调用模块，用于根据接收到的数据调用命令在数据库内进行对应的数据的调用，并将调用的数据发送到数据排版模块；数据排版模块，用于根据用户输入的要求对调用的数据进行排版，并将排版结果发送到显示屏进行显示。其中，所述声纹数据为从录入的用户朗读指定验证文本的语音中获取的用户的声纹特征和唇动间隔时间数据。其中，所述人机操作模块包括文字输入模块、语音输入模块和图片输入模块。其中，所述文字输入模块采用键盘，所述语音输入模块采用麦克风。所述图片输入模块采用图片导入上传的模式以及通过摄像头采集图片上传模式。其中，所述数据定位模块基于刻面技术来实现数据定位，通过计算不同数据术语间的刻面距离来准确定位数据；在定位数据时，在已知刻面的约束下选择相应的术语，以此来完成对所需数据的描述，如果选择成功，则返回相应的数据；如果选择不成功，则系统将根据同义词词典和概念距离图计算术语的相似性，形成新的定位信息。其中，所述数据整理模块采用EKA算法和AKF算法处理冲突内容。其中，所述冗余内容采用redundancy函数进行清除，具体的，在redundancy函数中，分别将k1和k2中的知识元素取出e1和e2，然将e1和e2中的X，Y以及关系R取出进行比较并分别对比xe1，xe2，ye1，ye2，将具有相同内容的元素项删除，并保留原有关系r值，将关系与未被删除项合并。本专利技术还提供了一种多源数据处理方法，包括如下步骤：S1、通过注册模块完成用户的注册，并输入对应的声纹数据，生成用户注册身份标识的生物特征模型，并将所述生物特征模型保存到用户注册数据库中；S2、完成身份认证后，进行所需要储存数据的输入；S3、根据预设的算法对接收到的数据进行审核，并将审核通过的数据发送到数据标记模块；S4、通过数据标记模块将接收到的数据用其对应的账户信息标记，并发送到数据整理模块；S5、通过数据整理模块查找与所接收到的数据之间存在的冗余内容以及所输入数据与数据库内原有数据之间的冲突内容，并将冗余内容、冲突内容以对话框的形式进行显示，同时根据用户的选择进行冗余内容和冲突内容的清除；S6、通过数据记录提取模块根据设置的字段提取出整理后的数据对应的信息，形成相应的数据记录；S7、为提取的数据记录在数据库中找到合适的位置，并为其找到相似数据点，建立其与相似数据点之间的关系。本专利技术还提供了一种多源数据处理方法，包括如下步骤：S1、通过注册模块完成用户的注册，并输入对应的声纹数据，生成用户注册身份标识的生物特征模型，并将所述生物特征模型保存到用户注册数据库中；S2、完成身份认证后，进行所需要查询的数据；S3、通过数据调用模块根据接收到的数据调用命令在数据库内进行对应的数据的调用，并将调用的数据发送到数据排版模块；S4、通过数据排版模块根据用户输入的要求对调用的数据进行排版，并将排版结果发送到显示屏进行显示。本专利技术具有以下有益效果：在数据库的数据中根据需要设置字段，将不同信息文档中的对应信息提取出来，形成相应的数据记录，然后通过自带的数据处理功能完成数据的处理和审核，在实现数据库实时更新的同时，避免了数据的重复、冲突，自动实现了数据的关联关系建立；同时也实现了在权限内的数据的共享，每个数据的录入均携带录入者的身份信息；且实现了数据的可追溯性，数据的储存和调用更加安全。附图说明图1为本专利技术实施例一种多源数据处理系统的系统框图。具体实施方式为了使本专利技术的目的及优点更加清楚明白，以下结合实施例对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。如图1所示，本专利技术实施例提供了一种多源数据处理系统，包括注册模块，用于在用户注册时，生成对应用户注册身份标识的生物特征模型，并将所述生物特征模型保存到用户本文档来自技高网...

【技术保护点】
一种多源数据处理系统，其特征在于，包括注册模块，用于在用户注册时，生成对应用户注册身份标识的生物特征模型，并将所述生物特征模型保存到用户注册数据库中；人机操作模块，用于用户登录并输入需要进行储存的数据，并将输入的数据发送到数据审核模块；还用于输入声纹数据，并将这些生物特征数据发送到身份认证模块；还用于输入数据调用命令；数据审核模块，用于根据预设的算法对接收到的数据进行审核，并将审核通过的数据发送到数据标记模块；数据标记模块，用于将接收到的数据用其对应的账户信息标记后发送到数据整理模块；数据整理模块，用于查找与所接收到的数据之间存在的冗余内容以及所输入数据与数据库内原有数据之间的冲突内容，并将冗余内容、冲突内容以对话框的形式进行显示，同时根据用户的选择进行冗余内容和冲突内容的清除；数据记录提取模块，用于根据设置的字段提取出整理后的数据对应的信息，形成相应的数据记录；数据定位模块，用于为提取的数据记录在数据库中找到合适的位置，并为其找到相似数据点，建立其与相似数据点之间的关系；身份认证模块，用于将接收到的生物特征数据与用户注册数据库内的数据进行相似度对比，并将对比结果发送到加密模块进行解码，若解码通过，则将接收到的数据调用命令发送到数据检索调用模块；数据检索调用模块，用于根据接收到的数据调用命令在数据库内进行对应的数据的调用，并将调用的数据发送到数据排版模块；数据排版模块，用于根据用户输入的要求对调用的数据进行排版，并将排版结果发送到显示屏进行显示。...

【技术特征摘要】
1.一种多源数据处理系统，其特征在于，包括注册模块，用于在用户注册时，生成对应用户注册身份标识的生物特征模型，并将所述生物特征模型保存到用户注册数据库中；人机操作模块，用于用户登录并输入需要进行储存的数据，并将输入的数据发送到数据审核模块；还用于输入声纹数据，并将这些生物特征数据发送到身份认证模块；还用于输入数据调用命令；数据审核模块，用于根据预设的算法对接收到的数据进行审核，并将审核通过的数据发送到数据标记模块；数据标记模块，用于将接收到的数据用其对应的账户信息标记后发送到数据整理模块；数据整理模块，用于查找与所接收到的数据之间存在的冗余内容以及所输入数据与数据库内原有数据之间的冲突内容，并将冗余内容、冲突内容以对话框的形式进行显示，同时根据用户的选择进行冗余内容和冲突内容的清除；数据记录提取模块，用于根据设置的字段提取出整理后的数据对应的信息，形成相应的数据记录；数据定位模块，用于为提取的数据记录在数据库中找到合适的位置，并为其找到相似数据点，建立其与相似数据点之间的关系；身份认证模块，用于将接收到的生物特征数据与用户注册数据库内的数据进行相似度对比，并将对比结果发送到加密模块进行解码，若解码通过，则将接收到的数据调用命令发送到数据检索调用模块；数据检索调用模块，用于根据接收到的数据调用命令在数据库内进行对应的数据的调用，并将调用的数据发送到数据排版模块；数据排版模块，用于根据用户输入的要求对调用的数据进行排版，并将排版结果发送到显示屏进行显示。2.如权利要求1所述的一种多源数据处理系统，其特征在于，所述声纹数据为从录入的用户朗读指定验证文本的语音中获取的用户的声纹特征和唇动间隔时间数据。3.根据权利要求1所述的一种多源数据处理系统，其特征在于，所述人机操作模块包括文字输入模块、语音输入模块和图片输入模块。4.如权利要求3所述的一种多源数据处理系统，其特征在于，所述文字输入模块采用键盘，所述语音输入模块采用麦克风。所述图片输入模块采用图片导入上传的模式以及通过摄像头采集图片上传模式。5.如权利要求1所述的一种多源数据处理系统，其特征在于，所述数据定位模块基于刻面技术来实现数据定位，通过计算不同数据术语间的刻面距离来准确定位数据；在定位数据...

【专利技术属性】
技术研发人员：王欢，赵建平，李华，陈占芳，刘丹，冯欣，姜晓明，顾健，
申请(专利权)人：长春理工大学，
类型：发明
国别省市：吉林;22