一种数据处理方法、装置、电子设备及存储介质制造方法及图纸

本申请实施例公开了一种数据处理方法、装置、电子设备及存储介质，可应用于数据处理技术领域。其中方法包括本申请：获取待处理数据，从待处理数据中获取目标数据格式的目标数据，调用解析工具解析目标数据，从目标数据中确定根节点，并从根节点下的多个子节点中定位元素节点，提取关联的两个元素节点之间的文本节点；依照文本节点和文本节点对应的元素节点生成目标节点信息，将目标节点信息存储至目标数据仓库。由此可以，有助于提高数据处理的效率，增强数据处理操作的灵活性。本申请涉及区块链技术，如可将生成的目标节点信息写入区块链中进行存储。进行存储。进行存储。

【技术实现步骤摘要】
一种数据处理方法、装置、电子设备及存储介质


[0001]本申请涉及数据处理
，尤其涉及一种数据处理方法、一种数据处理装置、一种电子设备及一种计算机存储介质。

技术介绍

[0002]随着大数据时代的到来，数据量激增，很多企业都采用数据仓库进行海量数据的存储。目前，从各种途径提取的一些源端数据通常可能存在脏数据并且格式杂乱，使得用户不能快速获取重要信息，则需要在将源端数据存入数据仓库前进行数据处理，现有技术中对数据进行提取通常是通过数据仓库的自带的Xpath函数来对数据进行解析，但通过这种方式处理数据时只能通过编写大量的判断语句，一个个列出所有的标签类型，然后再与源端数据进行匹配从而获取数据，这样的处理方式的数据处理效率不高，并且对不同的数据适用性不强。由此可见，如何对需要存入数据仓库的数据进行高效、灵活地处理是一个亟待解决的问题。

技术实现思路

[0003]本申请实施例提供了一种数据处理方法、装置、电子设备及存储介质，有助于提高数据处理的效率，增强数据处理操作的灵活性。
[0004]一方面，本申请实施例提供了一种数据处理方法，该方法包括：
[0005]获取待处理数据，从所述待处理数据中获取目标数据格式的目标数据，所述目标数据包括根节点及所述根节点下的多个子节点，所述多个子节点包括元素节点和文本节点；
[0006]调用解析工具解析所述目标数据，从所述目标数据中确定根节点，并从所述根节点下的多个子节点中定位元素节点，提取关联的两个元素节点之间的文本节点；
[0007]依照所述文本节点和所述文本节点对应的元素节点生成目标节点信息，将所述目标节点信息存储至目标数据仓库。
[0008]另一方面，本申请实施例提供了一种数据处理装置，该装置包括：
[0009]获取模块，用于获取待处理数据，从所述待处理数据中获取目标数据格式的目标数据，所述目标数据包括根节点及所述根节点下的多个子节点，所述多个子节点包括元素节点和文本节点；
[0010]处理模块，用于调用解析工具解析所述目标数据，从所述目标数据中确定根节点，并从所述根节点下的多个子节点中定位元素节点，提取关联的两个元素节点之间的文本节点；
[0011]所述处理模块，还用于依照所述文本节点和所述文本节点对应的元素节点生成目标节点信息，将所述目标节点信息存储至目标数据仓库。
[0012]再一方面，本申请实施例提供了一种电子设备，其特征在于，所述电子设备包括处理器和存储装置，所述处理器与所述存储装置相互连接，其中，所述存储装置用于存储计算
机程序指令，所述处理器被配置用于执行如下步骤：
[0013]获取待处理数据，从所述待处理数据中获取目标数据格式的目标数据，所述目标数据包括根节点及所述根节点下的多个子节点，所述多个子节点包括元素节点和文本节点；
[0014]调用解析工具解析所述目标数据，从所述目标数据中确定根节点，并从所述根节点下的多个子节点中定位元素节点，提取关联的两个元素节点之间的文本节点；
[0015]依照所述文本节点和所述文本节点对应的元素节点生成目标节点信息，将所述目标节点信息存储至目标数据仓库。
[0016]又一方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序指令，所述计算机程序指令被处理器执行时，用于执行如下步骤：
[0017]获取待处理数据，从所述待处理数据中获取目标数据格式的目标数据，所述目标数据包括根节点及所述根节点下的多个子节点，所述多个子节点包括元素节点和文本节点；
[0018]调用解析工具解析所述目标数据，从所述目标数据中确定根节点，并从所述根节点下的多个子节点中定位元素节点，提取关联的两个元素节点之间的文本节点；
[0019]依照所述文本节点和所述文本节点对应的元素节点生成目标节点信息，将所述目标节点信息存储至目标数据仓库。
[0020]本申请实施例获取待处理数据，从待处理数据中获取目标数据格式的目标数据，该目标数据包括根节点及根节点下的多个子节点，然后调用解析工具解析目标数据，从目标数据中确定根节点，并从根节点下的多个子节点中定位元素节点，提取关联的两个元素节点之间的文本节点，依照文本节点和文本节点对应的元素节点生成目标节点信息，将目标节点信息存储至目标数据仓库。由此可以，有助于提高数据处理的效率，增强数据处理操作的灵活性。
附图说明
[0021]为了更清楚地说明本申请实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0022]图1是本申请实施例提供的一种数据处理方法的流程示意图；
[0023]图2是本申请实施例提供的一种目标数据的效果示意图；
[0024]图3是本申请实施例提供的另一种数据处理方法的流程示意图；
[0025]图4是本申请实施例提供的一种条件配置界面的效果示意图；
[0026]图5是本申请实施例提供的一种函数封装包选择界面的效果示意图；
[0027]图6是本申请实施例提供的另一种函数封装包选择界面的效果示意图；
[0028]图7是本申请实施例提供的一种数据处理装置的结构示意图；
[0029]图8是本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
[0030]下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。
[0031]本申请实施例提出一种数据处理方案，能够从待处理数据中获取目标格式的目标数据，然后调用解析工具解析目标数据，从该目标数据中确定根节点，并从根节点下的多个子节点中定位元素节点，提取关联的两个元素节点之间的文本节点，再将该文本节点和该文本节点对应的元素节点存储至目标数据仓库，由此可以有助于提高数据处理的效率，增强数据处理操作的灵活性。
[0032]本申请的技术方案可运用在电子设备中，该电子设备可以是终端，也可以是服务器，或者也可以是用于数据处理的其他设备，本申请不做限定。该服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。该终端可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等，但并不局限于此。
[0033]在一种可能的实施方式中，本申请的数据处理方案可以运用在数据仓库中，数据仓库(Data Warehouse，简称DW)是一个很大的数据存储集合，如hive、oracle、Db2、Teradata等，数据仓库出于企业的分析性报告和决策支持目的而创建，对多样的业务数据进行筛选与整合。该数据仓库在一些场景中也可被称为大数据数据仓、数据仓、大数据数据仓库本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：获取待处理数据，从所述待处理数据中获取目标数据格式的目标数据，所述目标数据包括根节点及所述根节点下的多个子节点，所述多个子节点包括元素节点和文本节点；调用解析工具解析所述目标数据，从所述目标数据中确定根节点，并从所述根节点下的多个子节点中定位元素节点，提取关联的两个元素节点之间的文本节点；依照所述文本节点和所述文本节点对应的元素节点生成目标节点信息，将所述目标节点信息存储至目标数据仓库。2.根据权利要求1所述方法，其特征在于，所述调用解析工具解析所述目标数据，从所述目标数据中确定根节点，并从所述根节点下的多个子节点中定位元素节点，提取关联的两个元素节点之间的文本节点，包括：根据所述目标数据仓库的特征信息从预构建的多个函数封装包中，获取与所述目标数据仓库匹配的目标函数封装包；通过所述目标函数封装包调用解析工具解析所述目标数据，从所述目标数据中确定根节点，并从所述根节点下的多个子节点中定位元素节点，提取关联的两个元素节点之间的文本节点。3.根据权利要求2所述方法，其特征在于，所述根据所述目标数据仓库的特征信息从预构建的多个函数封装包中，获取与所述目标数据仓库匹配的目标函数封装包，包括：接收用户输入的数据处理指令，所述数据处理指令指示了生成所述目标节点信息后进行存储的目标数据仓库；依照所述数据处理指令的指示，获取所述目标数据仓库的特征信息；遍历预构建的多个函数封装包，从所述多个函数封装包中提取目标字段，所述目标字段用于指示对应函数封装包所适用的数据仓库；将所述目标字段与所述特征信息匹配的函数封装包确定为与所述目标数据仓库匹配的目标函数封装包，并获取所述目标函数封装包。4.根据权利要求2所述方法，其特征在于，所述通过所述目标函数封装包调用解析工具解析所述目标数据，包括：显示针对所述目标函数封装包的条件配置界面；依照在所述条件配置界面中输入的条件配置操作，调整所述目标函数封装包中的预设条件；通过调整预设条件后的目标函数封装包调用解析工具解析所述目标数据。5.根据权利要求2所述方法，其特征在于，所述将...

【专利技术属性】
技术研发人员：谢连天，
申请(专利权)人：中国平安财产保险股份有限公司，
类型：发明
国别省市：