一种基于大数据的多源数据风险管理系统及方法技术方案

技术编号：40113951 阅读：6 留言：0更新日期：2024-01-23 19:36

本发明专利技术涉及数据管理技术领域，具体为一种基于大数据的多源数据风险管理系统及方法，包括：多源数据采集模块、数据管理中心、用户需求分析模块、用户分类管理模块和数据源接入管理模块，通过多源数据采集模块采集用户调用不同第三方数据源中数据的历史信息以及从不同第三方数据源中查询数据的历史信息，通过数据管理中心存储并管理采集到的全部数据，通过用户需求分析模块将调用的数据进行分类，分析用户对不同类型数据的需求程度，通过用户分类管理模块依据分析结果将用户进行分类，通过数据源接入管理模块为同一类用户选择并接入数据源，降低了因第三方数据源选择不当导致数据调用出现异常情况风险加剧的概率，提高了数据调用的效率和成功率。

全部详细技术资料下载

【技术实现步骤摘要】

本专利技术涉及数据管理，具体为一种基于大数据的多源数据风险管理系统及方法。

技术介绍

1、在网络后端数据服务中经常会需要从第三方数据源中获取数据，能够帮助用户更便捷地获取到想要查询的数据，为查询到更加完整、精确的数据，往往需要接入多个第三方数据源，将多个第三方数据源接入后，将多个第三方数据源提供的数据格式进行统一转换，并对数据内容进行清洗，可以供用户调用；

2、然而，由于存在多个第三方数据源可以选择接入，从不同的第三方数据源处调用不同类型数据，发生调用数据延时、失败等异常情况的严重性有所不同，随机地选择并接入第三方数据源，容易因第三方数据源选择不当导致数据调用出现异常情况的风险加剧。

3、所以，人们需要一种基于大数据的多源数据风险管理系统及方法来解决上述问题。

技术实现思路

1、本专利技术的目的在于提供一种基于大数据的多源数据风险管理系统及方法，以解决上述
技术介绍
中提出的问题。

2、为了解决上述技术问题，本专利技术提供如下技术方案：一种基于大数据的多源数据风险管理系统，所述系统包括：多源数据采集模块、数据管理中心、用户需求分析模块、用户分类管理模块和数据源接入管理模块；

3、所述多源数据采集模块的输出端连接所述数据管理中心的输入端，所述数据管理中心的输出端连接所述用户需求分析模块的输入端，所述用户需求分析模块的输出端连接所述用户分类管理模块的输入端，所述用户分类管理模块和数据管理中心的输出端连接所述数据源接入管理模块的输入端；

4、通过所述多源数据采集模块采集用户调用不同第三方数据源中数据的历史信息以及从不同第三方数据源中查询数据的历史信息，将采集到的全部数据传输到所述数据管理中心；

5、通过所述数据管理中心存储并管理接收到的全部数据；

6、通过所述用户需求分析模块将调用的数据进行分类，分析不同用户对不同类型数据的需求程度；

7、通过所述用户分类管理模块依据分析结果将用户进行分类；

8、通过所述数据源接入管理模块为同一类用户选择数据源进行接入。

9、进一步的，所述多源数据采集模块包括需求信息采集单元和调用信息采集单元；

10、所述需求信息采集单元和调用信息采集单元的输出端连接所述数据管理中心的输入端；

11、所述需求信息采集单元用于采集不同用户以往在不同时间段内调用数据的次数信息；

12、所述调用信息采集单元用于采集从不同的第三方数据源中查询数据的历史信息，包括以往数据的查得次数以及以往每次查询得到数据花费的时长信息。

13、进一步的，所述用户需求分析模块包括需求数据分类单元、分析模型建立单元和需求程度预测单元；

14、所述需求数据分类单元的输入端连接所述数据管理中心的输出端，所述需求数据分类单元的输出端连接所述分析模型建立单元的输入端，所述分析模型建立单元的输出端连接所述需求程度预测单元的输入端；

15、所述需求数据分类单元用于将用户以往调用的数据按用户需求进行分类，确认不同用户以往在不同时间段内调用不同类型数据的次数信息；

16、所述分析模型建立单元用于调取随机一个用户以往在不同时间段内调用不同类型数据的次数信息并建立用户对不同类型数据的调用分析模型，有几类数据就建立几个调用分析模型；

17、所述需求程度预测单元用于依据调用分析模型分析用户对不同类型数据的需求程度。

18、进一步的，所述用户分类管理模块包括需求程度比较单元和用户分类单元；

19、所述需求程度比较单元的输入端连接所述需求程度预测单元的输出端，所述需求程度比较单元的输出端连接所述用户分类单元的输入端；

20、所述需求程度比较单元用于比较随机一个用户对不同类型数据的需求程度，预测对应用户在未来时间需求程度最高的数据类型；

21、所述用户分类单元用于将对相同类型数据需求程度最高的用户分为同一类。

22、进一步的，所述数据源接入管理模块包括调用信息分析单元、数据源稳定评估单元和数据源接入选择单元；

23、所述调用信息分析单元的输入端连接所述用户分类单元和数据管理中心的输出端，所述调用信息分析单元的输出端连接所述数据源稳定评估单元的输入端，所述数据源稳定评估单元的输出端连接所述数据源接入选择单元的输入端；

24、所述调用信息分析单元用于调取不同的第三方数据源以往对同一类用户最需要的数据的查得次数以及以往每次查询得到最需要数据花费的时长信息至所述数据源稳定评估单元；

25、所述数据源稳定评估单元用于评估不同第三方数据源查询对应类型数据的稳定程度；

26、所述数据源接入选择单元用于比较不同第三方数据源查询对应类型数据的稳定程度，依据比较结果将第三方数据源进行分组，为同一类用户选择并接入最合适的一组第三方数据源，在接入第三方数据源后，将多个第三方数据源提供的数据格式进行统一转换，并对数据内容进行清洗，供用户调用。

27、一种基于大数据的多源数据风险管理方法，包括以下步骤：

28、z1：采集用户调用不同第三方数据源中数据的历史信息以及从不同第三方数据源中查询数据的历史信息；

29、z2：将调用的数据进行分类，分析不同用户对不同类型数据的需求程度；

30、z3：依据分析结果将用户进行分类；

31、z4：调取从不同第三方数据源中查询数据的历史信息，分析第三方数据源的数据查询稳定程度；

32、z5：为同一类用户选择数据源进行接入。

33、进一步的，在步骤z1中：将t1到t2时间段平均分为n个时间段，其中，t2表示当前时间，采集到不同用户以往在n个时间段内调用数据的次数信息，采集从不同的第三方数据源中查询数据的历史信息，包括以往数据的查得次数以及以往每次查询数据花费的时长信息。

34、进一步的，在步骤z2中：将调用的数据按用户的数据服务需求进行分类；

35、例如：用户的数据服务需求为：需要查询某个企业的基本信息和需要查询客户池分布信息，则将这两个需求不同的信息分为不同类型的数据；

36、共得到k个类型数据，调取到随机一个用户以往在n个不同的时间段内调用随机一类数据的次数集合为s={s1，s2，…，sn}，建立对应用户对随机一类数据的调用分析模型：

37、sn+1=τ*sn+(1-τ)*pn；

38、预测得到对应用户在第n+1个时间段内调用对应类型数据的次数为sn+1，其中，τ表示平滑系数，0<τ<1，pn表示第n个时间段内调用随机一类数据的次数指数平滑值，根据公式p1=τ*s1+(1-τ)*[(s1+s2+s3)/3]计算得到第1个时间段内调用随机一类数据的次数指数平滑值p1，根据公式p2=τ*s1+(1-τ)*p1计算得到第2个时间段内调用随机一类数据的次数指数平滑值p2，根据公式p3=τ*s2+(1-τ本文档来自技高网...

【技术保护点】

1.一种基于大数据的多源数据风险管理系统，其特征在于：所述系统包括：多源数据采集模块、数据管理中心、用户需求分析模块、用户分类管理模块和数据源接入管理模块；

2.根据权利要求1所述的一种基于大数据的多源数据风险管理系统，其特征在于：所述多源数据采集模块包括需求信息采集单元和调用信息采集单元；

3.根据权利要求1所述的一种基于大数据的多源数据风险管理系统，其特征在于：所述用户需求分析模块包括需求数据分类单元、分析模型建立单元和需求程度预测单元；

4.根据权利要求3所述的一种基于大数据的多源数据风险管理系统，其特征在于：所述用户分类管理模块包括需求程度比较单元和用户分类单元；

5.根据权利要求4所述的一种基于大数据的多源数据风险管理系统，其特征在于：所述数据源接入管理模块包括调用信息分析单元、数据源稳定评估单元和数据源接入选择单元；

6.一种基于大数据的多源数据风险管理方法，其特征在于：包括以下步骤：

7.根据权利要求6所述的一种基于大数据的多源数据风险管理方法，其特征在于：在步骤Z1中：将T1到T2时间段平均分

8.根据权利要求7所述的一种基于大数据的多源数据风险管理方法，其特征在于：在步骤Z3中：得到不同用户在第n+1个时间段内需求程度最高的数据类型，将对相同类型数据需求程度最高的用户分为同一类。

9.根据权利要求7所述的一种基于大数据的多源数据风险管理方法，其特征在于：在步骤Z4中：调取到以往从不同的第三方数据源中查询随机一类用户需求程度最高的类型的数据的次数集合为N={N1，N2，…，Nf}，数据的查得次数集合为r={r1，r2，…，rf}，从随机一个第三方数据源中每次查询得到数据花费的时长集合为t={t1，t2，…，tc}，其中，f表示待接入的第三方数据源个数，c=ri，c表示从随机一个数据源中查得数据的次数，根据下列公式计算随机一个第三方数据源查询对应类型数据的稳定程度Qi：

10.根据权利要求9所述的一种基于大数据的多源数据风险管理方法，其特征在于：在步骤Z5中：比较从f个第三方数据源中查询对应类型数据的稳定程度，将第三方数据源按稳定程度从大到小的顺序分为g组，获取到随机一个分组结果中，g组中每一组第三方数据源查询对应类型数据的稳定程度均值集合为L={L1，L2，…，Lg}，根据公式W=[(∑gv=1(Lv-(∑gv=1Lv)/g)2)/g]1/2计算随机一个分组结果中，g组参数的离散程度W，计算不同分组结果中g组参数的离散程度，获取离散程度最大的分组结果，从离散程度最大的分组结果中筛选出处于第一组的第三方数据源，为对对应类型数据需求程度最高的用户选择并接入筛选出的第三方数据源。

...

【技术特征摘要】

2.根据权利要求1所述的一种基于大数据的多源数据风险管理系统，其特征在于：所述多源数据采集模块包括需求信息采集单元和调用信息采集单元；

4.根据权利要求3所述的一种基于大数据的多源数据风险管理系统，其特征在于：所述用户分类管理模块包括需求程度比较单元和用户分类单元；

6.一种基于大数据的多源数据风险管理方法，其特征在于：包括以下步骤：

7.根据权利要求6所述的一种基于大数据的多源数据风险管理方法，其特征在于：在步骤z1中：将t1到t2时间段平均分为n个时间段，其中，t2表示当前时间，采集到不同用户以往在n个时间段内调用数据的次数信息，采集从不同的第三方数据源中查询数据的历史信息，包括以往数据的查得次数以及以往每次查询得到数据花费的时长信息；

8.根据权利要求7所述的一种基于大数据的多源数据风险管理方法，...

【专利技术属性】
技术研发人员：夏山俊，
申请(专利权)人：江苏睿希信息科技有限公司，
类型：发明
国别省市：

全部详细技术资料下载我是这个专利的主人