大数据采集方法、装置、计算机设备及存储介质制造方法及图纸

本发明专利技术公开了大数据采集方法、装置、计算机设备及存储介质。该方法包括：接收多个业务数据库所上传的业务数据，将业务数据根据来源标识存储至本地的源数据库中对应的子源数据表中；获取源数据库中所包括的子源数据表，根据子源数据表的来源标识和在子源数据表中所选定的字段对应生成多级主题域；根据多级主题域对应建立主题域数据库，将源数据库中所包括的子源数据表根据多级主题域所筛选得到的数据对应存储至主题域数据库。该方法实现了将数据集中在一个平台，数据分析只需要从一个数据来源取数，实现统一的数据管理和使用，减少数据的重复加工。

【技术实现步骤摘要】
大数据采集方法、装置、计算机设备及存储介质
本专利技术涉及数据加工
，尤其涉及一种大数据采集方法、装置、计算机设备及存储介质。
技术介绍
目前，企业的数据库一般是按业务系统进行分类，并将不同的业务数据存储在各自对应的数据库中，这就导致了各业务系统之间的数据并不能相互融合进行数据分析和应用，导致了数据孤岛的问题。
技术实现思路
本专利技术实施例提供了一种大数据采集方法、装置、计算机设备及存储介质，旨在解决现有技术中不同的业务数据存储在各自对应的数据库中，导致了各业务系统之间的数据并不能相互融合进行数据分析和应用，导致了数据孤岛的问题。第一方面，本专利技术实施例提供了一种大数据采集方法，其包括：接收多个业务数据库所上传的业务数据，将业务数据根据来源标识存储至本地的源数据库中对应的子源数据表中；获取源数据库中所包括的子源数据表，根据子源数据表的来源标识和在子源数据表中所选定的字段对应生成多级主题域；根据多级主题域对应建立主题域数据库，将源数据库中所包括的子源数据表根据多级主题域所筛选得到的数据对应存储至主题域数据库。第二方面，本专利技术实施例提供了一种大数据采集装置，其包括：业务数据接收单元，用于接收多个业务数据库所上传的业务数据，将业务数据根据来源标识存储至本地的源数据库中对应的子源数据表中；多级主题域获取单元，用于获取源数据库中所包括的子源数据表，根据子源数据表的来源标识和在子源数据表中所选定的字段对应生成多级主题域；主题域数据库加工单元，用于根据多级主题域对应建立主题域数据库，将源数据库中所包括的子源数据表根据多级主题域所筛选得到的数据对应存储至主题域数据库。第三方面，本专利技术实施例又提供了一种计算机设备，其包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述第一方面所述的大数据采集方法。第四方面，本专利技术实施例还提供了一种存储介质，其中所述存储介质存储有计算机程序，所述计算机程序当被处理器执行时使所述处理器执行上述第一方面所述的大数据采集方法。本专利技术实施例提供了一种大数据采集方法、装置、计算机设备及存储介质。通过对多个业务数据库所上传的业务数据根据字段进行主题域加工，得到主题域数据库，实现了将数据集中在一个平台，数据分析只需要从一个数据来源取数，实现统一的数据管理和使用，减少数据的重复加工。附图说明为了更清楚地说明本专利技术实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术实施例提供的大数据采集方法的流程示意图；图2为本专利技术实施例提供的大数据采集方法的另一流程示意图；图3为本专利技术实施例提供的大数据采集方法的子流程示意图；图4为本专利技术实施例提供的大数据采集方法的另一流程示意图；图5为本专利技术实施例提供的大数据采集方法的另一子流程示意图；图6为本专利技术实施例提供的大数据采集装置的示意性框图；图7为本专利技术实施例提供的大数据采集装置的另一示意性框图；图8为本专利技术实施例提供的大数据采集装置的子单元示意性框图；图9为本专利技术实施例提供的大数据采集装置的另一示意性框图；图10为本专利技术实施例提供的大数据采集装置的另一子单元示意性框图；图11为本专利技术实施例提供的计算机设备的示意性框图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。还应当理解，在此本专利技术说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本专利技术。如在本专利技术说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。还应当进一步理解，在本专利技术说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。请参阅图1，图1是本专利技术实施例提供的大数据采集方法的流程示意图，该大数据采集方法应用于管理服务器中，该方法通过安装于管理服务器中的应用软件进行执行，管理服务器即是用于对各业务系统上传的业务数据进行采集和加工的企业终端。如图1所示，该方法包括步骤S101～S103。S101、接收多个业务数据库所上传的业务数据，将业务数据根据来源标识存储至本地的源数据库中对应的子源数据表中。在本实施例中，是通过管理服务器作为一个大数据采集和加工的数据融合性功能的数据库。与管理服务器连接的多个业务系统中(如保险企业中的业务系统一般包括承保数据库，理赔数据库，渠道数据库，客户信息数据库，外部数据库等)，这些业务系统中的数据均可以上传至管理服务器中，由管理服务器进行数据加工。多个业务数据库中的业务数据按指定周期(如每24h自动上传一次)或是手动触发数据上传时，管理服务器中设置有一存储空间作为源数据库，所上传的业务数据根据业务数据的来源，存储至本地的源数据库中对应的子表(即子源数据表)中。在一实施例中，步骤S101包括：接收业务数据库所上传的业务数据，解析业务数据的来源标识；根据来源标识定位本地的源数据库中对应的子源数据表，将业务数据存储至该子源数据表。每一业务数据库首次与管理服务器建立通讯通道并进行数据传输时，在管理服务器的本地的源数据库中都会建立一个与业务数据库对应的子源数据表，以对应存储来自不同业务数据库的业务数据。例如承保数据库所上传的业务数据被添加承保数据库的来源标识，并通过承保数据库与管理服务器所建立的通讯通道上传至源数据库中的承保数据子源数据表(若承保数据子源数据表是存在于源数据库中时就无需建立承保数据子源数据表，若承保数据子源数据表未存在于源数据库中时就需要根据承保数据库的来源标识对应建立承保数据子源数据表)。在后续过程中，若管理服务器又接收了承保数据库所上传的业务数据，这些业务数据被解析后的来源标识为承保数据库，故这些业务数据被存储至承保数据子源数据表。在一实施例中，本地的源数据库为Hadoop数据库，业务数据库中的业务数据均通过Sqoop脚本自动上传至Hadoop数据库。Hadoop是Apache基金会下一个开源的分布式计算平台，它以分布式文件系统HDFS和MapReduce算法为核心，为用户提供了系统底层细节透明的分布式基础架构。Sqoop脚本主要用于在Hadoop与传统的数据库(如mysql、postgresql等)间进行数据的传递，可以将一个关系型数据库中的数据导入Hadoop的HDFS中，也可以将HDFS的数据导入关系型数据库中。S102、获取源数据库中所包括的子源数据表，根据子源数据表的来源标识和在子源数据表中所选定的字段对应生成多级主题域。在本实施例中，当多个业务数据库中的业务数据均上本文档来自技高网...

【技术保护点】
1.一种大数据采集方法，其特征在于，包括：接收多个业务数据库所上传的业务数据，将业务数据根据来源标识存储至本地的源数据库中对应的子源数据表中；获取源数据库中所包括的子源数据表，根据子源数据表的来源标识和在子源数据表中所选定的字段对应生成多级主题域；根据多级主题域对应建立主题域数据库，将源数据库中所包括的子源数据表根据多级主题域所筛选得到的数据对应存储至主题域数据库。

【技术特征摘要】
1.一种大数据采集方法，其特征在于，包括：接收多个业务数据库所上传的业务数据，将业务数据根据来源标识存储至本地的源数据库中对应的子源数据表中；获取源数据库中所包括的子源数据表，根据子源数据表的来源标识和在子源数据表中所选定的字段对应生成多级主题域；根据多级主题域对应建立主题域数据库，将源数据库中所包括的子源数据表根据多级主题域所筛选得到的数据对应存储至主题域数据库。2.根据权利要求1所述的大数据采集方法，其特征在于，所述根据多级主题域对应建立主题域数据库，将源数据库中所包括的子源数据表根据多级主题域所筛选得到的数据对应存储至主题域数据库之后，还包括：获取源数据库中所包括的子源数据表，根据子源数据表中的共同字段将各子源数据表中的数据进行融合，得到集市数据库。3.根据权利要求1所述的大数据采集方法，其特征在于，所述根据子源数据表的来源标识和在子源数据表中所选定的字段对应生成多级主题域，包括：根据子源数据表的来源标识和由第一SQL脚本所选定的字段对应生成多级主题域。4.根据权利要求1所述的大数据采集方法，其特征在于，所述根据多级主题域对应建立主题域数据库，将源数据库中所包括的子源数据表根据多级主题域所筛选得到的数据对应存储至主题域数据库，包括：以多级主题域中的第一级主题域为表格名一一对应建立表格，根据多级主题域中所包括的多级主题域中删除第一级主题域所剩余的主题域对应建立字段；根据主题域数据库所包括的字段对应生成第二SQL脚本，通过第二SQL脚本将子源数据表中对应字段的数据填充至主题域数据库的对应表格。5.根据权利要求2所述的大数据采集方法，其特征在于，所述根据子源数据表中的共同字段将各子源数据表中的数据进行融合，得到集市数据库，包括：统计获取各子源数据表中包括的字段；若各子源数据表中包括的字段中存在字段的出现频次大于1，将该字段进行去重以使该字段的...

【专利技术属性】
技术研发人员：陈文端，
申请(专利权)人：平安科技深圳有限公司，
类型：发明
国别省市：广东,44