基于数据集市的监管数据处理方法、装置、设备及介质制造方法及图纸

本申请实施例涉及大数据处理技术领域，提供了一种基于数据集市的监管数据处理方法、装置、设备及介质，其通过在数据明细层生成不同维度的数据明细表，然后将在ODS表的字段与数据明细表中的字段进行映射，将ODS表中数据写入对应的明细表中；在数据维度层根据预先定义的监管数据维度生成维度表；根据维度表中的维度从各个数据明细表中抽取对应的数据，并进行整合得到监管数据；将监管数据存入位于数据服务层的监管数据表中，并将数据服务层接入监管系统，以将监管数据表报送至监管系统。通过对明细表中的数据进行整合得到监管数据，实现报送监管系统数据的统一，减少从业务系统库抽取并处理数据的时间成本，提高报送监管系统的效率。率。率。

【技术实现步骤摘要】
基于数据集市的监管数据处理方法、装置、设备及介质


[0001]本申请涉及大数据处理领域，尤其涉及一种基于数据集市的监管数据处理方法、装置、设备及介质。

技术介绍

[0002]目前，随着金融数据自动化监管要求的提高，为了将数量级巨大的金融数据报送监管系统，各机构纷纷引入数据集市技术。但在数据集市中，由于各机构存储数据的方式与监管系统报送的格式不同，导致在向监管系统报送数据之前需要耗费大量的时间进行数据处理，数据报送效率较为低下。在数据统计过程中，还存在关联的监管数据条目需要对业务数据重复抽取的情况，进而使得数据集市的资源开销较大。

技术实现思路

[0003]本申请实施例的主要目的在于提出一种基于数据集市的监管数据处理方法和装置、设备及介质，旨在提高报送监管系统的效率以及减少报送的资源开销。
[0004]为实现上述目的，本申请实施例的第一方面提出了一种基于数据集市的监管数据处理方法，所述数据集市包括数据明细层、数据维度层和数据服务层，所述方法包括以下步骤：
[0005]按照预先定义的领域维度和时间维度生成多个明细表，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于数据集市的监管数据处理方法，其特征在于，所述数据集市包括数据明细层、数据维度层和数据服务层，所述方法包括以下步骤：按照预先定义的领域维度和时间维度生成多个明细表，将所述多个明细表存储在所述数据明细层对应的第一数据库；确定各个所述明细表中的各个字段和操作数据存储ODS表的映射关系；按照预设时间间隔从ODS层获取所述ODS表，并扫描所述ODS表中的业务数据，根据所述映射关系将所述ODS表的业务数据写入对应的所述明细表中；根据预先定义的监管数据维度生成维度表，将所述维度表存储在所述数据维度层对应的第二数据库；根据所述维度表中的所述监管数据维度从各个所述明细表抽取对应的业务数据；根据所述监管数据维度对应的业务数据整合得到监管数据；将所述监管数据写入监管数据表，并将所述监管数据表存储在所述数据服务层对应的第三数据库；将所述数据服务层接入监管系统，以通过所述数据服务层将所述监管数据表报送至所述监管系统。2.根据权利要求1所述的基于数据集市的监管数据处理方法，其特征在于，所述ODS表包括多个字段，在所述确定各个所述明细表中的各个字段和操作数据存储ODS表的映射关系之前，所述方法还包括：从业务系统库抽取多个所述业务数据；根据采集所述业务数据的源接口，确定所述业务数据对应的字段；根据所述业务数据对应的字段，确定所述业务数据对应的所述ODS表；将所述业务数据写入对应的所述ODS表中。3.根据权利要求2所述的基于数据集市的监管数据处理方法，其特征在于，所述确定各个所述明细表中的各个字段和操作数据存储ODS表的映射关系，包括：遍历各个所述明细表中的各个字段，针对当前遍历到的字段，将包含当前遍历到的字段的所述ODS表确定为目标ODS表；当所述目标ODS表的数量为一个时，将所述目标ODS表与当前遍历到的字段建立映射关系；当所述目标ODS表的数量为多个时，选取其中一个目标ODS表与当前遍历到的字段建立映射关系。4.根据权利要求2所述的基于数据集市的监管数据处理方法，其特征在于，所述根据预先定义的监管数据维度生成维度表，包括：获取所述监管数据维度对应的属性数据标识，所述属性数据标识包括所述业务系统库的属性数据标识和所述监管系统的属性数据标识；通过所述维度表中记录所述监管数据维度对应的属性数据标识。5.根据权利要求1所述的基于数据集市的监管数据处理方法，其特征在于，所述时间维度包括日频度和月频度，所述明细表包括日频度类的明细表和月频度类的明细表；所述根据所述映射关系，将所述ODS表的业务数据写入对应的所述明细表中，...

【专利技术属性】
技术研发人员：赵凯，
申请(专利权)人：中国平安人寿保险股份有限公司，
类型：发明
国别省市：