一种数据加工处理方法、装置、计算机设备及存储介质制造方法及图纸

本申请实施例属于计算机信息管理技术领域，涉及一种数据加工处理方法、装置、计算机设备及存储介质。本申请通过对待处理的原始数据进行解析，以得到该原始数据的各个结构化数据，并根据各个结构化数据获取对应的算子规则，以使该算子规则对对应的结构化数据进行加工处理操作，得到目标加工结果，从而统一规划为内容定义明确的内部数据，另外，当结构化数据还包括个性化数据时，通过对该个性化数据进行数据转化操作，从而得到符合格式要求的结构化数据，并进行后续获取算子规则、加工处理操作，进而完成对来自外部，数据定义多样，类型复杂，变动频繁的行业和核心企业数据的加工处理，有效提高数据加工处理的兼容性。有效提高数据加工处理的兼容性。有效提高数据加工处理的兼容性。

【技术实现步骤摘要】
一种数据加工处理方法、装置、计算机设备及存储介质


[0001]本申请涉及人工智能中的计算机信息管理
，尤其涉及一种数据加工处理方法、装置、计算机设备及存储介质。

技术介绍

[0002]在计算机应用领域中，通过计算机进行信息管理已成为主要的应用，而数据加工处理是信息管理的必要手段。
[0003]现有一种数据加工处理方法，即按照一定的逻辑对数据进行加工，例如：筛选条件、字段自身或是字段之间关联运算(如数学的加减乘除、计数、平均值等)、截取字段中一定未知和长度的字符串等逻辑，从而实现数据加工处理的目的。
[0004]然而，申请人发现传统的数据加工处理方法普遍不智能，由于现有企业数据平台或数据中台系统中的数据加工处理模块是基于对内部数据进行加工处理的出发点进行设计和建设的，传统的数据加工处理方法只能适用于内容定义明确的内部数据，但是，对于来自外部，数据定义多样，类型复杂，变动频繁的行业和核心企业数据难以适用，由此可见，传统的数据加工处理方法存在兼容性较差的问题。

技术实现思路

[0005]本申请实施例的目的在于提出本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据加工处理方法，其特征在于，包括下述步骤：获取待处理的原始数据；对所述原始数据进行数据解析操作，得到结构化数据；若所述结构化数据还包括个性化数据，则对所述个性化数据进行数据转化操作，并将数据转化操作后的个性化数据作为所述结构化数据；读取算子规则库，在所述算子规则库中获取与所述结构化数据相对应的算子规则；根据所述算子规则对所述结构化数据进行加工处理操作，得到目标加工结果。2.根据权利要求1所述的数据加工处理方法，其特征在于，在所述根据所述算子规则对所述结构化数据进行加工处理操作，得到目标加工结果的步骤之后，还包括下述步骤：根据预设校验规则对所述目标加工结果进行结果校验操作，得到校验结果；若所述校验结果为不存在异常数据，则将所述目标加工结果作为最终加工结果；若所述校验结果为存在异常数据，则根据“结构化数据
‑
算子规则
‑
目标加工结果”的关联关系获取与所述异常数据相对应的异常结构化数据以及异常算子规则；根据纠正规则对所述异常算子规则进行规则纠正操作，得到纠正算子规则；根据所述纠正算子规则对所述异常结构化数据进行所述加工处理操作，得到纠正加工数据；将所述目标加工结果的正常数据以及所述纠正加工数据作为所述最终加工结果。3.根据权利要求1所述的数据加工处理方法，其特征在于，在所述根据所述算子规则对所述结构化数据进行加工处理操作，得到目标加工结果的步骤之后，还包括下述步骤：若所述校验结果为存在可疑数据，则根据所述关联关系获取与所述可疑数据相对应的可疑结构化数据，并将所述可疑结构化数据存放至缓存区，以便进行人工筛查。4.根据权利要求1所述的数据加工处理方法，其特征在于，所述若所述结构化数据还包括个性化数据，则对所述个性化数据进行数据转化操作，并将数据转化操作后的个性化数据作为所述结构化数据的步骤，具体包括下述步骤：将所述个性化数据输入至语义分析模型进行词义识别操作，得到真实词义信息；将所述真实词义信息作为所述结构化数据。5.根据权利要求4所述的数据加工处理方法，其特征在于，在所述将所述个性化数据输入至语义分析模型进行词义识别操作，得到真实词义信息的步骤之前，还包括：在所述本地数据库中获取样本文本，并确定所述样本文本中包含的每个分词；基于待训练的语义分析模型确定所述每个分词对应的词向量；在所述本地数据库中获取语义属性，根据所述待训练的语义分析模型中包含所述语义属性对应的注意力矩阵，以及所述每个分词对应的词向量，确定所述样本文本涉及所述语义属性的第一特征表示向量；根据所述待训练的语义分析模型中包含的用于表示不同语义属性之间的相关性的自注意力矩阵，以及...

【专利技术属性】
技术研发人员：冯天驰，肖林岩，李邕，张龙达，
申请(专利权)人：湖南财信数字科技有限公司，
类型：发明
国别省市：