数据处理方法、系统、电子设备及存储介质技术方案

本申请实施例提供了一种数据处理方法、系统、电子设备及存储介质，属于数据处理技术领域。数据处理方法包括：获取待处理的初始金融文本数据；对初始金融文本数据进行编码，将初始金融文本数据转换成矩阵形式，得到编码后的多个编码向量，并对初始金融文本数据进行目标检测，得到目标内容；根据目标内容确定对应的用于存放初始金融文本数据的目标表，并根据目标表的存放内容确定对应的第一解码器；根据第一解码器对多个编码向量进行解码，得到解码后的多个目标解码数据；将多个目标解码数据存放在目标表中。本申请可以将文本信息自动解码填充到目标表的规范格式，将非结构化数据转换成结构化数据，降低了数据处理的成本，提高数据处理的效率。处理的效率。处理的效率。

【技术实现步骤摘要】
数据处理方法、系统、电子设备及存储介质


[0001]本申请涉及数据处理
，尤其涉及一种数据处理方法、系统、电子设备及存储介质。

技术介绍

[0002]企业的生产运营过程中会产生大量的非结构化或半结构化数据，例如文字、图片、网页、文档等格式的数据，对非结构化数据的处理是业界的难题之一。
[0003]相关技术中，通常采用深度学习的方法来提取非结构化的金融文本数据，并转换成结构化的金融文本数据，但是，此类方法都需要提前制定规则，需要相关词库建立或人工打标等，这就需要大量积累行业领域内信息后，才能进行相对准确的信息抽取，耗时耗力，提高了数据处理的成本，降低了数据处理的效率。

技术实现思路

[0004]本申请实施例的主要目的在于提出一种数据处理方法、系统、电子设备及存储介质，能够降低数据处理的成本，提高数据处理的效率。
[0005]为实现上述目的，本申请实施例的第一方面提出了一种数据处理方法，所述方法包括：获取待处理的初始金融文本数据；对所述初始金融文本数据进行编码，将所述初始金融文本数据转换成矩阵形式，得到编码后的多个编码向量，并对所述初始金融文本数据进行目标检测，得到目标内容；根据所述目标内容确定对应的用于存放所述初始金融文本数据的目标表，并根据所述目标表的存放内容确定对应的第一解码器；根据所述第一解码器对多个所述编码向量进行解码，得到解码后的多个目标解码数据；将多个所述目标解码数据存放在所述目标表中。
[0006]在一些实施例中，所述方法还包括：持续获取更新后的所述初始金融文本数据；对更新后的所述初始金融文本数据进行编码，将所述初始金融文本数据转换成矩阵形式，得到编码后的多个编码向量；对更新前后所述初始金融文本数据的所述编码向量进行相似性计算，得到更新前后所述初始金融文本数据之间的相似性参数；当所述相似性参数表征更新前后所述初始金融文本数据的类型相同，确定将所述更新后的所述初始金融文本数据存放在所述目标表中。
[0007]在一些实施例中，所述目标解码数据包括基础解码数据和扩展解码数据，所述根据所述第一解码器对多个所述编码向量进行解码，得到解码后的多个解码数据，包括：根据所述目标内容和所述目标表的存放内容之间的差异，确定额外的第二解码器；根据所述第一解码器对多个所述编码向量进行解码，得到与所述目标表的存放内容相匹配的所述基础解码数据；根据所述第二解码器对多个所述编码向量进行解码，得到用于新增在所述目标表的存放内容中的所述扩展解码数据。
[0008]在一些实施例中，所述将多个所述目标解码数据存放在所述目标表中之后，所述方法还包括：根据所述目标表中的所述基础解码数据和所述扩展解码数据，生成看板或报
告；对所述看板或所述报告进行可视化呈现，以展示所述基础解码数据和所述扩展解码数据。
[0009]在一些实施例中，所述将多个所述目标解码数据存放在所述目标表中，包括：获取所述目标解码数据在解码过程中得到的权重；若所述权重大于预设的权重阈值，将对应的所述目标解码数据存放在所述目标表中。
[0010]在一些实施例中，所述对所述初始金融文本数据进行编码，将所述初始金融文本数据转换成矩阵形式，得到编码后的多个编码向量，包括：对所述初始金融文本数据进行数据清洗，去除所述初始金融文本数据中与内容无关的数据，得到清洗后的所述初始金融文本数据；对清洗后的所述初始金融文本数据进行编码，将所述初始金融文本数据转换成矩阵形式，得到编码后的多个编码向量。
[0011]在一些实施例中，所述对所述初始金融文本数据进行编码，将所述初始金融文本数据转换成矩阵形式，得到编码后的多个编码向量，包括：根据所述初始金融文本数据的文本特征，设定文本编码的编码参数；根据所述编码参数对所述初始金融文本数据进行编码，并将所述初始金融文本数据转换成矩阵形式，得到编码后的多个编码向量。
[0012]为实现上述目的，本申请实施例的第二方面提出了一种数据处理系统，所述系统包括：数据获取模块，用于获取待处理的初始金融文本数据；编码模块，用于对所述初始金融文本数据进行编码，将所述初始金融文本数据转换成矩阵形式，得到编码后的多个编码向量，并对所述初始金融文本数据进行目标检测，得到目标内容；解码器选择模块，用于根据所述目标内容确定对应的用于存放所述初始金融文本数据的目标表，并根据所述目标表的存放内容确定对应的第一解码器；解码模块，用于根据所述第一解码器对多个所述编码向量进行解码，得到解码后的多个目标解码数据；数据存放模块，用于将多个所述目标解码数据存放在所述目标表中。
[0013]为实现上述目的，本申请实施例的第三方面提出了一种电子设备，所述电子设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述第一方面实施例所述的方法。
[0014]为实现上述目的，本申请实施例的第四方面提出了一种存储介质，所述存储介质为计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面实施例所述的方法。
[0015]本申请提出的数据处理方法、系统、电子设备及存储介质，数据处理方法可应用在数据处理系统中。通过执行数据处理方法，本申请实施例中先对初始金融文本数据进行编码，将初始金融文本数据转换成矩阵形式，得到编码后的多个编码向量，并对初始金融文本数据进行目标检测，检测出相应的目标文本，得到目标内容，目标内容可以在解码过程中确定对应的目标表和所需要的第一解码器，随后可以根据第一解码器对多个编码向量进行解码，得到解码后的多个目标解码数据，最终将多个目标解码数据存放在目标表中。本申请实施例可以根据目标表，无需建立相关词库或人工打标，将文本信息自动解码填充到目标表的规范格式，将非结构化数据转换成结构化数据，能够降低数据处理的成本，提高数据处理的效率。
附图说明
[0016]图1是本申请实施例提供的数据处理方法的流程图；
[0017]图2是本申请另一个实施例提供的数据处理方法的流程图；
[0018]图3是图1中的步骤S104的流程图；
[0019]图4是图1中的步骤S105之后的流程图；
[0020]图5是图1中的步骤S105之后的另一个流程图；
[0021]图6是图1中的步骤S102的流程图；
[0022]图7是图1中的步骤S102的另一个的流程图；
[0023]图8是本申请实施例提供的数据处理系统的功能模块示意图；
[0024]图9是本申请实施例提供的电子设备的硬件结构示意图。
具体实施方式
[0025]为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。
[0026]需要说明的是，虽然在装置示意图中进行了功能模块划分，在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于装置中的模块划分，或流程图中的顺序执行所示出或描述的步骤。说明书和权利要求本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，其特征在于，所述方法包括：获取待处理的初始金融文本数据；对所述初始金融文本数据进行编码，将所述初始金融文本数据转换成矩阵形式，得到编码后的多个编码向量，并对所述初始金融文本数据进行目标检测，得到目标内容；根据所述目标内容确定对应的用于存放所述初始金融文本数据的目标表，并根据所述目标表的存放内容确定对应的第一解码器；根据所述第一解码器对多个所述编码向量进行解码，得到解码后的多个目标解码数据；将多个所述目标解码数据存放在所述目标表中。2.根据权利要求1所述的数据处理方法，其特征在于，所述方法还包括：持续获取更新后的所述初始金融文本数据；对更新后的所述初始金融文本数据进行编码，将所述初始金融文本数据转换成矩阵形式，得到编码后的多个编码向量；对更新前后所述初始金融文本数据的所述编码向量进行相似性计算，得到更新前后所述初始金融文本数据之间的相似性参数；当所述相似性参数表征更新前后所述初始金融文本数据的类型相同，确定将所述更新后的所述初始金融文本数据存放在所述目标表中。3.根据权利要求1所述的数据处理方法，其特征在于，所述目标解码数据包括基础解码数据和扩展解码数据，所述根据所述第一解码器对多个所述编码向量进行解码，得到解码后的多个解码数据，包括：根据所述目标内容和所述目标表的存放内容之间的差异，确定额外的第二解码器；根据所述第一解码器对多个所述编码向量进行解码，得到与所述目标表的存放内容相匹配的所述基础解码数据；根据所述第二解码器对多个所述编码向量进行解码，得到用于新增在所述目标表的存放内容中的所述扩展解码数据。4.根据权利要求3所述的数据处理方法，其特征在于，所述将多个所述目标解码数据存放在所述目标表中之后，所述方法还包括：根据所述目标表中的所述基础解码数据和所述扩展解码数据，生成看板或报告；对所述看板或所述报告进行可视化呈现，以展示所述基础解码数据和所述扩展解码数据。5.根据权利要求1所述的数据处理方法，其特征在于，所述将多个所述目标解码数据存放在所述目标表中，包...

【专利技术属性】
技术研发人员：陈琦，吴振宇，王建明，肖京，
申请(专利权)人：平安科技深圳有限公司，
类型：发明
国别省市：