一种数据加工处理方法、装置、计算机设备及存储介质制造方法及图纸

本申请实施例属于计算机信息管理技术领域，涉及一种数据加工处理方法、装置、计算机设备及存储介质。本申请通过对待处理的原始数据进行解析，以得到该原始数据的各个结构化数据，并根据各个结构化数据获取对应的算子规则，以使该算子规则对对应的结构化数据进行加工处理操作，得到目标加工结果，从而统一规划为内容定义明确的内部数据，另外，当结构化数据还包括个性化数据时，通过对该个性化数据进行数据转化操作，从而得到符合格式要求的结构化数据，并进行后续获取算子规则、加工处理操作，进而完成对来自外部，数据定义多样，类型复杂，变动频繁的行业和核心企业数据的加工处理，有效提高数据加工处理的兼容性。有效提高数据加工处理的兼容性。有效提高数据加工处理的兼容性。

【技术实现步骤摘要】
一种数据加工处理方法、装置、计算机设备及存储介质


[0001]本申请涉及人工智能中的计算机信息管理
，尤其涉及一种数据加工处理方法、装置、计算机设备及存储介质。

技术介绍

[0002]在计算机应用领域中，通过计算机进行信息管理已成为主要的应用，而数据加工处理是信息管理的必要手段。
[0003]现有一种数据加工处理方法，即按照一定的逻辑对数据进行加工，例如：筛选条件、字段自身或是字段之间关联运算(如数学的加减乘除、计数、平均值等)、截取字段中一定未知和长度的字符串等逻辑，从而实现数据加工处理的目的。
[0004]然而，申请人发现传统的数据加工处理方法普遍不智能，由于现有企业数据平台或数据中台系统中的数据加工处理模块是基于对内部数据进行加工处理的出发点进行设计和建设的，传统的数据加工处理方法只能适用于内容定义明确的内部数据，但是，对于来自外部，数据定义多样，类型复杂，变动频繁的行业和核心企业数据难以适用，由此可见，传统的数据加工处理方法存在兼容性较差的问题。

技术实现思路

[0005]本申请实施例的目的在于提出一种数据加工处理方法、装置、计算机设备及存储介质，以解决传统的数据加工处理方法存在兼容性较差的问题。
[0006]为了解决上述技术问题，本申请实施例提供一种数据加工处理方法，采用了如下所述的技术方案：
[0007]获取待处理的原始数据；
[0008]对所述原始数据进行数据解析操作，得到结构化数据；
[0009]若所述结构化数据还包括个性化数据，则对所述个性化数据进行数据转化操作，并将数据转化操作后的个性化数据作为所述结构化数据；
[0010]读取算子规则库，在所述算子规则库中获取与所述结构化数据相对应的算子规则；
[0011]根据所述算子规则对所述结构化数据进行加工处理操作，得到目标加工结果。
[0012]为了解决上述技术问题，本申请实施例还提供一种数据加工处理装置，采用了如下所述的技术方案：
[0013]数据获取模块，用于获取待处理的原始数据；
[0014]数据解析模块，用于对所述原始数据进行数据解析操作，得到结构化数据；
[0015]格式转化模块，用于若所述结构化数据还包括个性化数据，则对所述个性化数据进行数据转化操作，并将数据转化操作后的个性化数据作为所述结构化数据；
[0016]算子获取模块，用于读取算子规则库，在所述算子规则库中获取与所述结构化数据相对应的算子规则；
[0017]第一加工处理模块，用于根据所述算子规则对所述结构化数据进行加工处理操作，得到目标加工结果。
[0018]为了解决上述技术问题，本申请实施例还提供一种计算机设备，采用了如下所述的技术方案：
[0019]包括存储器和处理器，所述存储器中存储有计算机可读指令，所述处理器执行所述计算机可读指令时实现如上所述的数据加工处理方法的步骤。
[0020]为了解决上述技术问题，本申请实施例还提供一种计算机可读存储介质，采用了如下所述的技术方案：
[0021]所述计算机可读存储介质上存储有计算机可读指令，所述计算机可读指令被处理器执行时实现如上所述的数据加工处理方法的步骤。
[0022]与现有技术相比，本申请实施例主要有以下有益效果：
[0023]本申请提供了一种数据加工处理方法，包括：获取待处理的原始数据；对所述原始数据进行数据解析操作，得到结构化数据；若所述结构化数据还包括个性化数据，则对所述个性化数据进行数据转化操作，并将数据转化操作后的个性化数据作为所述结构化数据；读取算子规则库，在所述算子规则库中获取与所述结构化数据相对应的算子规则；根据所述算子规则对所述结构化数据进行加工处理操作，得到目标加工结果。本申请通过对待处理的原始数据进行解析，以得到该原始数据的各个结构化数据，并根据各个结构化数据获取对应的算子规则，以使该算子规则对对应的结构化数据进行加工处理操作，得到目标加工结果，并通过后续的数据加工算子规则的组合，实现进一步的数据加工过程，最终完成各类多样的非结构数据到内容定义明确的内部数据的加工处理，另外，当结构化数据还包括数据定义多样、类型复杂、变动频繁等个性化数据时，通过对该个性化数据进行数据转化操作，从而得到符合格式要求的结构化数据，并进行后续获取算子规则、加工处理操作，进而完成对来自外部，数据定义多样，类型复杂，变动频繁的行业和核心企业数据的加工处理，有效提高数据加工处理的兼容性。
附图说明
[0024]为了更清楚地说明本申请中的方案，下面将对本申请实施例描述中所需要使用的附图作一个简单介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0025]图1是本申请可以应用于其中的示例性系统架构图；
[0026]图2是本申请实施例一提供的数据加工处理方法的实现流程图；
[0027]图3是本申请实施例一提供的数据加工处理方法的另一种具体实施方式的流程图；
[0028]图4是图2中步骤S203的一种具体实施方式的流程图；
[0029]图5是本申请实施例一提供的获取语义分析模型的实现流程图；
[0030]图6是本申请实施例一提供的第一特征表示向量获取方法的实现流程图；
[0031]图7是本申请实施例二提供的数据加工处理装置的结构示意图；
[0032]图8是本申请实施例二提供的数据加工处理装置的另一种具体实施方式的结构示意图；
[0033]图9是根据本申请的计算机设备的一个实施例的结构示意图。
具体实施方式
[0034]除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的
的技术人员通常理解的含义相同；本文中在申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本申请；本申请的说明书和权利要求书及上述附图说明中的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。本申请的说明书和权利要求书或上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。
[0035]在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
[0036]为了使本
的人员更好地理解本申请方案，下面将结合附图，对本申请实施例中的技术方案进行清楚、完整地描述。
[0037]如图1所示，系统架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据加工处理方法，其特征在于，包括下述步骤：获取待处理的原始数据；对所述原始数据进行数据解析操作，得到结构化数据；若所述结构化数据还包括个性化数据，则对所述个性化数据进行数据转化操作，并将数据转化操作后的个性化数据作为所述结构化数据；读取算子规则库，在所述算子规则库中获取与所述结构化数据相对应的算子规则；根据所述算子规则对所述结构化数据进行加工处理操作，得到目标加工结果。2.根据权利要求1所述的数据加工处理方法，其特征在于，在所述根据所述算子规则对所述结构化数据进行加工处理操作，得到目标加工结果的步骤之后，还包括下述步骤：根据预设校验规则对所述目标加工结果进行结果校验操作，得到校验结果；若所述校验结果为不存在异常数据，则将所述目标加工结果作为最终加工结果；若所述校验结果为存在异常数据，则根据“结构化数据
‑
算子规则
‑
目标加工结果”的关联关系获取与所述异常数据相对应的异常结构化数据以及异常算子规则；根据纠正规则对所述异常算子规则进行规则纠正操作，得到纠正算子规则；根据所述纠正算子规则对所述异常结构化数据进行所述加工处理操作，得到纠正加工数据；将所述目标加工结果的正常数据以及所述纠正加工数据作为所述最终加工结果。3.根据权利要求1所述的数据加工处理方法，其特征在于，在所述根据所述算子规则对所述结构化数据进行加工处理操作，得到目标加工结果的步骤之后，还包括下述步骤：若所述校验结果为存在可疑数据，则根据所述关联关系获取与所述可疑数据相对应的可疑结构化数据，并将所述可疑结构化数据存放至缓存区，以便进行人工筛查。4.根据权利要求1所述的数据加工处理方法，其特征在于，所述若所述结构化数据还包括个性化数据，则对所述个性化数据进行数据转化操作，并将数据转化操作后的个性化数据作为所述结构化数据的步骤，具体包括下述步骤：将所述个性化数据输入至语义分析模型进行词义识别操作，得到真实词义信息；将所述真实词义信息作为所述结构化数据。5.根据权利要求4所述的数据加工处理方法，其特征在于，在所述将所述个性化数据输入至语义分析模型进行词义识别操作，得到真实词义信息的步骤之前，还包括：在所述本地数据库中获取样本文本，并确定所述样本文本中包含的每个分词；基于待训练的语义分析模型确定所述每个分词对应的词向量；在所述本地数据库中获取语义属性，根据所述待训练的语义分析模型中包含所述语义属性对应的注意力矩阵，以及所述每个分词对应的词向量，确定所述样本文本涉及所述语义属性的第一特征表示向量；根据所述待训练的语义分析模型中包含的用于表示不同语义属性之间的相关性的自注意力矩阵，以及...

【专利技术属性】
技术研发人员：冯天驰，肖林岩，李邕，张龙达，
申请(专利权)人：湖南财信数字科技有限公司，
类型：发明
国别省市：