一种多数据源的数据归一化方法、电子设备及存储介质技术

技术编号:41435145 阅读:20 留言:0更新日期:2024-05-28 20:30
本发明专利技术提供了一种多数据源的数据归一化方法、电子设备及存储介质,涉及数据归一化领域,所述方法包括:获取每一预设的融合工程对应的每一目标字段,以得到目标字段列表集A;对A进行去重处理,以得到指定字段列表B;获取每一数据源发送的原始报文;根据B,获取每一原始报文对应的目标原始字段,以得到目标原始字段列表集C;根据预设的归一化规则,将C中的每一目标原始字段转换为对应的标准字段,以得到C对应的标准字段列表集D;根据D,对每一融合工程对应的目标字段列表中每一目标字段对应的字段值进行更新;本发明专利技术的方法无需对原始报文中的所有的原始字段进行处理,从而使得数据的解析更加简单,且数据的处理效率较高。

【技术实现步骤摘要】

本专利技术涉及数据归一化领域,特别是涉及一种多数据源的数据归一化方法、电子设备及存储介质


技术介绍

1、在民航领域,民航管理平台为了实时监测航班的动态或者用户的行程事件信息,通常会接收多个不同的数据源所推送的数据流,然后对每一数据源推送的每一数据流进行处理,以实现对航班或者用户行程的信息监测;然而,对于不同数据源而言,所采用的数据格式以及字段的命名可能都是不同的,如果业务端直接使用每一数据源推送的数据流,则需要针对不同的数据源开发对应的解析规则,对相应的数据进行解析,从而会导致数据的解析非常的繁琐,数据的处理效率较低。


技术实现思路

1、针对上述技术问题,本专利技术采用的技术方案为:

2、根据本申请的第一方面,提供了一种多数据源的数据归一化方法,所述方法包括以下步骤:

3、s100,获取每一预设的融合工程对应的每一目标字段,以得到目标字段列表集a=(a1,a2,…,ai,…,an),i=1,2,…,n;其中,ai为第i个融合工程对应的目标字段列表,n为预设的融合工程的数量;ai=(a本文档来自技高网...

【技术保护点】

1.一种多数据源的数据归一化方法,其特征在于,所述方法包括以下步骤:

2.根据权利要求1所述的多数据源的数据归一化方法,其特征在于,步骤S500包括以下步骤:

3.根据权利要求1所述的多数据源的数据归一化方法,其特征在于,在步骤S600之后,所述方法包括以下步骤:

4.根据权利要求1所述的多数据源的数据归一化方法,其特征在于,在步骤S600之后,所述方法还包括以下步骤:

5.根据权利要求1所述的多数据源的数据归一化方法,其特征在于,在步骤S500之后以及步骤S600之前,所述方法还包括以下步骤:

6.根据权利要求5所述的多数据源...

【技术特征摘要】

1.一种多数据源的数据归一化方法,其特征在于,所述方法包括以下步骤:

2.根据权利要求1所述的多数据源的数据归一化方法,其特征在于,步骤s500包括以下步骤:

3.根据权利要求1所述的多数据源的数据归一化方法,其特征在于,在步骤s600之后,所述方法包括以下步骤:

4.根据权利要求1所述的多数据源的数据归一化方法,其特征在于,在步骤s600之后,所述方法还包括以下步骤:

5.根据权利要求1所述的多数据源的数据归一化方法,其特征在于,在步骤s500之后以及步骤s600之前,所述方法还包括以下步骤:

6....

【专利技术属性】
技术研发人员:翁剑英吴月张博张凯伦
申请(专利权)人:中航信移动科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1