System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 一种基于人工智能的数据管理系统及方法技术方案_技高网

一种基于人工智能的数据管理系统及方法技术方案

技术编号:40605496 阅读:2 留言:0更新日期:2024-03-12 22:11
本发明专利技术公开了一种基于人工智能的数据管理系统及方法,涉及数据管理技术领域,对文本中的关键词进行识别,获取目标关键词各个特征信息类别的历史记录,对历史记录的数据构成数据组进行标记,获取历史记录中数据组的边界,获取异常数据组的判定规则,获取目标文本中的目标关键词信息,将包含不同特征信息类别的目标关键词进行数据组合,在目标文本中对异常数据组对应的目标关键词进行标记,获取目标关键词标记位置的段落,从段落中提取语素信息,对描述不同对象的同一目标关键词进行区分,通过区别特征构成特征模板,将异常数据组对应目标关键词进行区分,将描述不同对象的同一关键词的特征信息进行区分管理。

【技术实现步骤摘要】

本专利技术涉及数据管理,具体为一种基于人工智能的数据管理系统及方法


技术介绍

1、数据管理是对数据进行有效的收集、存储、处理和应用的过程,随着计算机技术和互联网发展,存储数据信息的媒介从传统的纸制媒介转变为电子媒介。电子媒介如计算机或数据处理软件在对规范格式的数据,例如数据库中的数据,在处理准确度上优势显著,但对于非规范数据,例如在文本或文档中提取关键词及相关特征信息时的准确度会大大下降。

2、现有技术中对文本中信息的提取主要是基于对文本中关键词的识别,进一步对关键词对应的信息进行提取,但是,自然语言中同一关键词可能对应不同的表述对象,尤其是涉及某领域的专有词或缩略语时,如果仅仅是通过现有技术对关键词进行识别,然后做信息提取的方法,会造成获取到的数据混乱的问题。


技术实现思路

1、本专利技术的目的在于提供一种基于人工智能的数据管理系统及方法,以解决上述
技术介绍
中提出的问题。

2、为了解决上述技术问题,本专利技术提供如下技术方案:一种基于人工智能的数据管理系统及方法。

3、步骤s100:对文本中的关键词进行识别,获取文本中关键词对应特征信息的数据,根据特征信息的特征信息类别进行管理,任意选择一个关键词作为目标关键词,获取目标关键词各个特征信息类别的历史记录,对历史记录的数据构成数据组进行标记,获取历史记录中数据组的边界,获取异常数据组的判定规则;

4、步骤s200:将待检测的文本设置为目标文本,获取目标文本中的目标关键词信息,将包含不同特征信息类别的目标关键词进行数据组合,得到第一检测组,提取第一检测组中的异常数据组,在目标文本中对异常数据组对应的目标关键词进行标记;

5、步骤s300:获取目标关键词标记位置的段落,从段落中提取语素信息,通过计算同种语素在对应段落中的分布情况,对描述不同对象的同一目标关键词进行区分;

6、步骤s400:对描述不同对象的同一目标关键词区别的特征进行提取,通过提取出的特征构成特征模板,当异常数据组的特征与特征模板比对成功后,将异常数据组对应目标关键词进行区分,将描述不同对象的同一关键词的特征信息进行区分管理。

7、进一步的,步骤s100包括:

8、步骤s101:获取目标关键词与各个特征信息的类别的对应关系,获取各个特征信息的历史数据;

9、步骤s102:在目标关键词的同一条历史记录中,将各特征信息类别对应的数据成一个历史数据组,将特征信息的每一个特征信息类别作为一个维度,汇集所有历史数据组,在数据空间中对历史数据组的位置进行标记;

10、步骤s103:在数据空间中,获取所有历史数据组的边界,根据边界制定判定规则,将在边界以里的数据组判定为正常数据组,将在边界以外的数据组判定为异常数据组。

11、进一步的,步骤s200包括:

12、步骤s201:对目标文本中的目标关键词及目标关键词对应的特征信息进行获取,将每次获取到的目标关键词与对应的特征信息组成一个待检测组;

13、步骤s202:将至少两个特征信息种类不同的待检测组通过特征信息种类对应数据互补的方式组成第一检测组,在数据空间中标记第一检测组对应的位置,通过判定规则进行判断,当第一检测组为异常数据组时,提取组成第一检测组的各个待检测组;

14、互补是指将从不同位置提出的待检测组互相进行匹配,获取一个待检测组中获取缺少的特征信息种类,通过另一个待检测组中的特征信息种类对应的信息,对所述一个待检测组中的数据进行补充,这两个待检测组就构成一个互补的关系。

15、步骤s203:获取各个待检测组对应的目标关键词在目标文本中的位置,对目标关键词所在位置的文本内容进行获取。

16、通过特征信息种类对应数据互补的方式,将不同种类的特征信息进行组合,判断组合后的信息是否符合历史规律,从而对可能存在描述不同对象的特征关键词进初步筛查;

17、进一步的,步骤s300包括:

18、步骤s301:将每个目标关键词的语素信息根据在目标文本中的顺序组成语素序列并根据语素序列的顺序给各个语素的位置进行标号,其中,每个目标关键词对应的语素序列中的语素数量一致;

19、语素指语言中最小的音义结合体,本方案中需要重点提取文本中的最小的语义单位,其中,语义包括词汇意义和语法意义。语素相对于词、词组等高级的音义结合单位而言,构成单位更小,为了避免词或词组通过组合构成语义的过程中产生不同的语义,所以将语义的最小单位作为描述目标关键词的提取目标;

20、步骤s302:对语素进行分类,将语素序列m中的语素分为公有类m1和私有类m2,其中m1中的语素在除m之外的至少一个语素序列中也存在,m2中的语素仅存在与m中,除m之外的语素序列中不包括m2中的语素,在各个语素序列中,将语素与语素所在的语素类别进行对应,将待检测组的语素类别中的公有类设置为目标语素类别,在各个语素序列中对目标语素类别进行标记;

21、步骤s303:将各个语素序列进行按照各个语素序列中第1个位置的语素进行对齐,组成第二检测组,获取第二检测组中,相同位置上是目标语素类别的语素的数量,通过计算目标语素在语素序列中的分布得到语素评价系数γ;

22、通过对目标关键词所在段落的语素,构成一个语素列,将少两个语素序列进行对齐,提取两个语素序列中相同位置是同一语素的数量,在语素序列中,语素的总数量为一个定值时,这个数量越大说明,两个目标关键词描述的对象趋于一致。语素的语义表示出目标关键词所在段落内容描述的侧重点,顺序表示处描述过程中的语言习惯和逻辑结构,通过比较语素种类的差别和相同语素在段落中位置的对应关系,得到段落中描述内容和描述方式的差别,进一步区目标关键词的描述对象是否一致;

23、步骤s304:设置判定阈值γ0,当γ>γ0时,判定第二检测组中的语素序列对应目标关键词描述的对象存在差异,当γ≤γ0时,判定第二检测组中的语素序列对应目标关键词描述的对象不存在差异。

24、进一步的,步骤s400包括:

25、步骤s401:获取满足γ>γ0条件的第二检测组,提取出所述第二检测组中同一个位置序号上不同语素序列中的语素,获取出位置序号与所述语素的语素类别的特征关系;

26、步骤s402:将若干特征关系根据位置序号的顺序进行排列,组成特征模板;

27、步骤s403:当步骤s200中再次检测到异常数据组时,优先通过特征模板进行比对,当比对成功后判定为目标关键词存在差异,当匹配失败后,进入步骤s300,获取特征模板。

28、通过步骤s300中的比较方法,进一步得到在目标关键词描述的对象存在差异时语素的分布特征和语素间的相对位置关系,语素的分布表示处在文本描述过程中内容的差异,相对位置关系可以表示在文本描述内容中表述内容习惯或表述方式的差异,提取出差异的特征,在未来的检测过程中一旦检测到两组目标关键词在表述过程中差异的特征本文档来自技高网...

【技术保护点】

1.一种基于人工智能的数据管理方法,其特征在于,所述方法包括以下步骤:

2.根据权利要求1所述的一种基于人工智能的数据管理方法,其特征在于:步骤S100包括:

3.根据权利要求2所述的一种基于人工智能的数据管理方法,其特征在于:步骤S200包括:

4.根据权利要求3所述的一种基于人工智能的数据管理方法,其特征在于:步骤S300包括:

5.根据权利要求4所述的一种基于人工智能的数据管理方法,其特征在于:步骤S400包括:

6.一种用于权利要求1-5中任意一项所述的基于人工智能的数据管理方法的数据管理系统,其特征在于:所述系统包括以下模块:规则管理模块、第一检测模块、第二检测模块和模板管理模块,其中,规则管理模块用于获取历史记录中数据组的边界,获取异常数据组的判定规则,第一检测模块用于构建第一检测组并判断异常数据组,对异常数据组进行管理,第二检测模块用于对关键词描述对象的差异进行检测,模板管理模块用于对特征模板进行管理。

7.根据权利要求6所述的数据管理系统,其特征在于:规则管理模块包括:历史记录管理单元、数据标记单元和规则获取单元,其中,历史记录管理单元用于管理特征信息的历史记录,数据标记单元用于在数据空间中对历史数据组的位置进行标记,规则获取单元用于管理异常数据组的判定规则。

8.根据权利要求7所述的数据管理系统,其特征在于:第一检测模块包括:关键词信息管理单元、信息组合单元、异常检测组判断单元和关键词内容管理单元,其中,关键词信息管理单元用于目标关键词与对应的特征信息组成一个待检测组,信息组合单元用于构建第一检测组,异常检测组判断单元用于判断第一检测组中的异常数据组,关键词内容管理单元用于获取目标关键词所在位置的文本内容。

9.根据权利要求8所述的数据管理系统,其特征在于:第二检测模块包括:语素提取单元、语素分类单元、语素评价系数计算单元和关键词差异判断单元,其中,语素提取单元用于提取关键词所在段落的语素,语素分类单元用于对语素进行分类,语素评价系数计算单元用于计算语素评价系数,关键词差异判断单元用于判断关键词描述的对象是否存在差异。

10.根据权利要求9所述的数据管理系统,其特征在于:模板管理模块包括:特征关系获取单元、特征模板构建单元和特征比对单元,其中,特征关系获取单元用于获取出位置序号与所述语素的语素类别的特征关系,特征模板构建单元用于构建特征模板,特征比对单元用于异常数据组的特征进行比对。

...

【技术特征摘要】

1.一种基于人工智能的数据管理方法,其特征在于,所述方法包括以下步骤:

2.根据权利要求1所述的一种基于人工智能的数据管理方法,其特征在于:步骤s100包括:

3.根据权利要求2所述的一种基于人工智能的数据管理方法,其特征在于:步骤s200包括:

4.根据权利要求3所述的一种基于人工智能的数据管理方法,其特征在于:步骤s300包括:

5.根据权利要求4所述的一种基于人工智能的数据管理方法,其特征在于:步骤s400包括:

6.一种用于权利要求1-5中任意一项所述的基于人工智能的数据管理方法的数据管理系统,其特征在于:所述系统包括以下模块:规则管理模块、第一检测模块、第二检测模块和模板管理模块,其中,规则管理模块用于获取历史记录中数据组的边界,获取异常数据组的判定规则,第一检测模块用于构建第一检测组并判断异常数据组,对异常数据组进行管理,第二检测模块用于对关键词描述对象的差异进行检测,模板管理模块用于对特征模板进行管理。

7.根据权利要求6所述的数据管理系统,其特征在于:规则管理模块包括:历史记录管理单元、数据标记单元和规则获取单元,其中,历史记录管理单元用于管理特征信息的历史记录,数据标...

【专利技术属性】
技术研发人员:徐步海
申请(专利权)人:江苏古卓科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1