System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 一种数据标准化处理系统、方法、电子设备及介质技术方案_技高网

一种数据标准化处理系统、方法、电子设备及介质技术方案

技术编号:40174032 阅读:6 留言:0更新日期:2024-01-26 23:42
本申请公开了一种数据标准化处理系统、方法、电子设备及介质。通过本申请公开的数据标准化处理系统,在得到待处理的用语时,通过对其进行单词拆分以及置换重组,从而替换掉其中不符合预设标准的单词并得到多种可能匹配的重组用语,再结合用语数据库中的预设标准用语以及预设的推荐策略对其中多个重组用语进行用语推荐,最终即可得到和待处理用语相对应的标准用语。其整体对于待处理用语的标准化处理流程基于预先设置的单词数据库以及用语数据库即可完成,不再需要通过人工处理的方式来逐一对待处理用语进行标准化处理,提高了业务命名字段的标准化处理效率。

【技术实现步骤摘要】

本申请涉及数据处理,特别是涉及一种数据标准化处理系统、方法、电子设备及介质


技术介绍

1、银行业务系统是用于管理银行业务流程和数据的软件系统,其能够提供各种业务功能和工具,还能够建立多个金融机构以及支付系统之间的联接,从而实现跨行以及跨境之间的金融交易。在目前的银行业务系统中,由于不同银行的业务系统来自于不同的实施厂商和开发人员,因而不同的业务系统在设计数据库时,对于同一业务所属的业务命名字段往往会有不同的描述。例如,当业务命名字段为“年利率”时,其命名字段用于表示存款的年利率;而在另一银行的业务系统中可能采用“年化利率”来表示相同的业务含义。在业务功能较为复杂时,不同业务系统之间的业务命名字段往往会存在较大的差异。当不同银行之间存在业务往来与交流时,同一业务所带来的字段之间的差异容易增加业务人员之间沟通和交流上的时间成本,影响整体的工作效率。因此,需要对不同业务系统中同类别业务的业务命名字段进行标准处理以实现命名字段上的统一,从而减少沟通和交流上的成本。

2、在目前的现有技术中,通常基于人工处理的方式来对多个业务系统间的业务命名字段进行标准处理,该方式需要耗费大量的人工成本及时间成本,业务命名字段标准化的效率较差。

3、因此,如何解决现有技术中,对于多个业务系统的业务命名字段标准化效率较差的问题,成为本领域技术人员急需解决的技术问题。


技术实现思路

1、基于上述问题,为了解决现有技术中多个业务系统的业务命名字段标准化效率较差的问题,本申请提供了一种数据标准化处理系统、方法、电子设备及介质。

2、本申请实施例公开了如下技术方案:

3、第一方面,本申请公开了一种数据标准化处理系统,包括:预设标准数据库、用语拆分模块、用语重构模块以及用语推荐模块;所述预设标准数据库包括:单词数据库、用语数据库以及数据域库;所述数据域库包括多个数据域名以及与所述多个数据域名各自对应的数据类型;所述用语数据库包括多个预设标准用语;所述单词数据库包括多个预设标准单词;

4、所述用语拆分模块,用于根据预设数据拆分规则,对待处理用语进行单词拆分,得到多个待处理用语单词;所述预设数据拆分规则用于限制所述待处理用语单词的单词长度;

5、所述用语重构模块,用于基于所述单词数据库,对所述多个待处理用语单词进行置换重组,得到多个重组用语;所述多个重组用语中包括所述多个预设标准单词;

6、所述用语推荐模块,用于根据所述多个重组用语、所述用语数据库以及预设推荐策略进行用语推荐,得到与所述待处理用语对应的标准用语。

7、可选的,所述多个预设标准用语具有各自对应的映射数据集;所述映射数据集包括与所述预设标准用语对应的非标准用语和用语简称;所述用语推荐模块包括:第一匹配单元;所述第一匹配单元,具体用于:

8、将所述多个重组用语与所述多个预设标准用语和对应的所述映射数据集进行第一用语匹配;

9、若存在与所述多个预设标准用语相同的重组用语,则将所述与所述多个预设标准用语相同的重组用语确定为所述待处理用语对应的标准用语;

10、若存在与所述映射数据集相同的重组用语,则将所述与所述映射数据集对应的预设标准用语确定为所述待处理用语的标准用语。

11、可选的,所述用语推荐模块包括:第二匹配单元;所述第二匹配单元,具体用于:

12、若所述第一用语匹配失败,则对所述多个重组用语进行用语简化,将所述多个重组用语中不属于所述单词数据库的单词删除,得到多个简化重组用语;

13、将所述多个简化重组用语与所述多个预设标准用语和对应的所述映射数据集进行第二用语匹配;

14、若存在与所述多个预设标准用语相同的简化重组用语,则将所述与所述多个预设标准用语相同的简化重组用语确定为所述待处理用语的标准用语;

15、若存在与所述映射数据集相同的简化重组用语,则将所述与所述映射数据集对应的预设标准用语确定为所述待处理用语的标准用语。

16、可选的,所述用语推荐模块包括:第三匹配单元;所述第三匹配单元,具体用于:

17、若所述第二用语匹配失败,则对所述多个简化重组用语进行单词拆分,得到所述多个简化重组用语各自对应的预设标准单词集;

18、将所述多个简化重组用语各自对应的预设标准单词集与所述多个预设标准用语进行用词匹配,得到多个所述预设标准单词集各自对应的用词匹配度;所述用词匹配度用于表示所述预设标准单词集中与所述预设标准用语中完全相同的单词所占的比例;

19、将所述用词匹配度最高的预设标准单词集所对应的预设标准用语确定为所述待处理用语的标准用语。

20、可选的,所述数据标准化处理系统,还包括:用语匹配模块;所述用语匹配模块,具体用于:

21、基于所述用语数据库,对所述待处理用语进行关键字匹配;

22、若所述用语数据库中存在与所述待处理用语完全相同的预设标准用语或映射数据集,则将所述与所述待处理用语完全相同的预设标准用语或映射数据集对应的预设标准用语确定为所述待处理用语对应的标准用语。

23、可选的,所述数据标准化处理系统,还包括:数据类型确定模块;所述数据类型确定模块,用于:

24、基于所述与所述待处理用语对应的标准用语和所述数据域库,确定所述标准用语对应的数据类型和数据域名。

25、可选的,所述数据类型确定模块,具体用于:

26、获取数据类型单词;所述数据类型单词为所述与所述待处理用语对应的标准用语中的末位单词;

27、将所述末位单词与预设数据域名集进行关键字匹配,若匹配成功,则将所述标准用语确定为域名匹配输入数据;

28、若匹配失败,则将所述末位单词确定为所述域名匹配输入数据;

29、将所述域名匹配输入数据与所述多个数据类型以及与所述多个数据类型一一对应的数据域名进行匹配,确定所述标准用语的数据类型和数据域名。

30、第二方面,本申请公开了一种数据标准化处理方法,包括:

31、根据预设数据拆分规则,对待处理用语进行单词拆分,得到多个待处理用语单词;所述预设数据拆分规则用于限制所述待处理用语单词的单词长度;

32、基于单词数据库,对所述多个待处理用语单词进行置换重组,得到多个重组用语;所述多个重组用语包括所述单词数据库中的多个预设标准单词;所述单词数据库包括多个预设标准单词;

33、根据所述多个重组用语、用语数据库以及预设推荐策略进行用语推荐,得到与所述待处理用语对应的标准用语;所述用语数据库包括多个预设标准用语。

34、第三方面,本申请公开了一种电子设备,所述设备包括:处理器、存储器、系统总线;

35、所述处理器以及所述存储器通过所述系统总线相连;

36、所述存储器用于存储一个或多个程序,所述一个或多个程序包括指令,所述指令当被所述处理器执行时使所述处理器执本文档来自技高网...

【技术保护点】

1.一种数据标准化处理系统,其特征在于,包括:预设标准数据库、用语拆分模块、用语重构模块以及用语推荐模块;所述预设标准数据库包括:单词数据库、用语数据库以及数据域库;所述数据域库包括多个数据域名以及与所述多个数据域名各自对应的数据类型;所述用语数据库包括多个预设标准用语;所述单词数据库包括多个预设标准单词;

2.根据权利要求1所述的系统,其特征在于,所述多个预设标准用语具有各自对应的映射数据集;所述映射数据集包括与所述预设标准用语对应的非标准用语和用语简称;所述用语推荐模块包括:第一匹配单元;所述第一匹配单元,具体用于:

3.根据权利要求2所述的系统,其特征在于,所述用语推荐模块包括:第二匹配单元;所述第二匹配单元,具体用于:

4.根据权利要求3所述的系统,其特征在于,所述用语推荐模块包括:第三匹配单元;所述第三匹配单元,具体用于:

5.根据权利要求1所述的系统,其特征在于,还包括:用语匹配模块;所述用语匹配模块,具体用于:

6.根据权利要求1所述的系统,其特征在于,还包括:数据类型确定模块;所述数据类型确定模块,用于:

7.根据权利要求6所述的系统,其特征在于,所述数据类型确定模块,具体用于:

8.一种数据标准化处理方法,其特征在于,包括:

9.一种电子设备,其特征在于,所述设备包括:处理器、存储器、系统总线;

10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现权利要求8中所述的数据标准化处理方法。

...

【技术特征摘要】

1.一种数据标准化处理系统,其特征在于,包括:预设标准数据库、用语拆分模块、用语重构模块以及用语推荐模块;所述预设标准数据库包括:单词数据库、用语数据库以及数据域库;所述数据域库包括多个数据域名以及与所述多个数据域名各自对应的数据类型;所述用语数据库包括多个预设标准用语;所述单词数据库包括多个预设标准单词;

2.根据权利要求1所述的系统,其特征在于,所述多个预设标准用语具有各自对应的映射数据集;所述映射数据集包括与所述预设标准用语对应的非标准用语和用语简称;所述用语推荐模块包括:第一匹配单元;所述第一匹配单元,具体用于:

3.根据权利要求2所述的系统,其特征在于,所述用语推荐模块包括:第二匹配单元;所述第二匹配单元,具体用于:

4.根据权利...

【专利技术属性】
技术研发人员:刘晨郑保卫刘景山
申请(专利权)人:恩核北京信息技术有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1