数据归一方法及装置、电子设备、存储介质制造方法及图纸

本公开实施例是关于一种数据归一方法及装置、电子设备、存储介质，涉及大数据技术领域，该方法包括：采用至少一种归一方式对待处理的原始数据进行归一化处理，得到每个所述归一方式对应的待选数据；对每个所述归一方式对应的待选数据进行筛选，以获取候选数据；根据对所述候选数据的评估结果确定所述待处理的原始数据对应的目标数据。本公开的技术方案能够根据至少一种归一方式对待处理的原始数据进行准确合理地归一化。

Data normalization method and device, electronic equipment and storage medium

【技术实现步骤摘要】
数据归一方法及装置、电子设备、存储介质
本公开涉及大数据
，具体而言，涉及一种数据归一方法、数据归一装置、电子设备以及计算机可读存储介质。
技术介绍
随着数据量的快速增长，不同场地的数据的标准可能存在很大差异，因此通过数据归一化能够提高数据处理的效率和准确率。相关技术中，基于人工智能算法的归一方式能够利用标准词的多特征进行归一，但是由于准召率较低使得得到的数据质量较差。基于规则或字典的归一方式需要对数据进行全量的检测，需要耗费大量的人力成本和时间成本，数据处理效率较低。需要说明的是，在上述
技术介绍
部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
技术实现思路
本公开的目的在于提供一种数据归一方法及装置、电子设备、存储介质，进而至少在一定程度上克服由于相关技术的限制和缺陷而导致的数据处理效率较低以及质量较差的问题。本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。根据本公开的一个方面，提供了一种数据归一方法，包括：采用至少一种归一方式对待处理的原始数据进行归一化处理，得到每个所述归一方式对应的待选数据；对每个所述归一方式对应的待选数据进行筛选，以获取候选数据；根据对所述候选数据的评估结果确定所述待处理的原始数据对应的目标数据。在本公开的一种示例性实施例中，所述至少一种处理方式包括分类模型，采用至少一种归一方式对待处理的原始数据进行归一化处理包括：采用所述分类模型对所述待处理的原始数据进行所述归一化处理，以得到待选数据。在本公开的一种示例性实施例中，所述方法还包括：获取样本数据；根据所述样本数据以及所述样本数据的特征对机器学习模型进行训练，直至所述样本数据的归一结果的指标信息大于预设阈值为止，以获取所述分类模型。在本公开的一种示例性实施例中，所述至少一种处理方式包括预设规则，采用至少一种归一方式对待处理的原始数据进行归一化处理包括：获取通过对样本数据的归纳操作确定的预设规则，并基于所述预设规则对所述待处理的原始数据进行匹配，以获取所述待选数据。在本公开的一种示例性实施例中，所述至少一种处理方式包括字典管理，采用至少一种归一方式对待处理的原始数据进行归一化处理包括：获取存储在字典中的样本数据，并将所述待处理的原始数据与所述字典中的样本数据进行匹配，以得到所述待选数据。在本公开的一种示例性实施例中，对每个所述归一方式对应的待选数据进行筛选，以获取候选数据包括：若待选数据的类型为目标类型的归一方式的数量小于预设数量，则将所述待选数据确定为所述候选数据；若待选数据的类型为目标类型的归一方式的数量大于预设数量，则根据所述待选数据的属性信息以及优先级顺序共同确定候选数据。在本公开的一种示例性实施例中，根据对所述候选数据的评估结果确定所述待处理的原始数据对应的目标数据包括：若所述评估结果为第一结果，则将所述候选数据确定为所述目标数据；若所述评估结果为第二结果，则对所述至少一种归一方式进行校验，以便于根据校验后的至少一种归一方式确定所述目标数据。根据本公开的一个方面，提供一种数据归一装置，包括：数据归一化模块，用于采用至少一种归一方式对待处理的原始数据进行归一化处理，得到每个所述归一方式对应的待选数据；数据筛选模块，用于对每个所述归一方式对应的待选数据进行筛选，以获取候选数据；目标数据确定模块，用于根据对所述候选数据的评估结果确定所述待处理的原始数据对应的目标数据。根据本公开的一个方面，提供一种电子设备，包括：处理器；以及存储器，用于存储所述处理器的可执行指令；其中，所述处理器配置为经由执行所述可执行指令来执行上述任意一项所述的数据归一方法。根据本公开的一个方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任意一项所述的数据归一方法。本公开实施例中提供的数据归一方法、数据归一装置、电子设备以及计算机可读存储介质中，通过采用至少一种处理方式对待处理的原始数据进行归一化得到待选数据，进一步对待选数据进行筛选得到候选数据，并且根据对候选数据的评估结果获取目标数据。一方面，由于通过至少一种处理方式对待处理的原始数据进行处理得到待选数据，并对待选数据进行筛选处理得到候选数据，能够得到更准确的候选数据，进一步地，在根据候选数据的评估结果获取目标数据作为归一化处理的最终数据，能够合理地进行归一化，提高了归一化处理的准确性，并且提高得到的归一化数据的准确性以及数据质量。另一方面，由于对不同的待处理的原始数据采用至少一种归一方式进行归一化处理，避免了人工操作的过程，能够提高数据处理效率。应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。附图说明此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1示意性示出本公开实施例中一种数据归一方法的示意图。图2示意性示出本公开实施例中确定候选数据的流程示意图。图3示意性示出本公开实施例中用于执行数据归一方法的系统示意图。图4示意性示出本公开实施例中数据归一装置的框图。图5示意性示出本公开实施例中一种电子设备的框图。具体实施方式现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中，提供许多具体细节从而给出对本公开的实施方式的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而省略所述特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知技术方案以避免喧宾夺主而使得本公开的各方面变得模糊。此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。为了解决相关技术中的技术问题，本公开实施例中提供了一种数据归一方法，可以应用于对医疗数据或者是其他任意类型的数据进行归一化处理的过程中。参考图1中所示的数据归一方法，具体可以包括以下步骤：在步骤S110中，采用至少一种归一方式对待处理的原始数据进行归一化处理，得到每个所述归一方式对应的待选数据。本公开实施例中，待处理的原本文档来自技高网...

【技术保护点】
1.一种数据归一方法，其特征在于，包括：/n采用至少一种归一方式对待处理的原始数据进行归一化处理，得到每个所述归一方式对应的待选数据；/n对每个所述归一方式对应的待选数据进行筛选，以获取候选数据；/n根据对所述候选数据的评估结果确定所述待处理的原始数据对应的目标数据。/n

【技术特征摘要】
1.一种数据归一方法，其特征在于，包括：
采用至少一种归一方式对待处理的原始数据进行归一化处理，得到每个所述归一方式对应的待选数据；
对每个所述归一方式对应的待选数据进行筛选，以获取候选数据；
根据对所述候选数据的评估结果确定所述待处理的原始数据对应的目标数据。


2.根据权利要求1所述的数据归一方法，其特征在于，所述至少一种处理方式包括分类模型，采用至少一种归一方式对待处理的原始数据进行归一化处理包括：
采用所述分类模型对所述待处理的原始数据进行所述归一化处理，以得到待选数据。


3.根据权利要求2所述的数据归一方法，其特征在于，所述方法还包括：
获取样本数据；
根据所述样本数据以及所述样本数据的特征对机器学习模型进行训练，直至所述样本数据的归一结果的指标信息大于预设阈值为止，以获取所述分类模型。


4.根据权利要求1所述的数据归一方法，其特征在于，所述至少一种处理方式包括预设规则，采用至少一种归一方式对待处理的原始数据进行归一化处理包括：
获取通过对样本数据的归纳操作确定的预设规则，并基于所述预设规则对所述待处理的原始数据进行匹配，以获取所述待选数据。


5.根据权利要求1所述的数据归一方法，其特征在于，所述至少一种处理方式包括字典管理，采用至少一种归一方式对待处理的原始数据进行归一化处理包括：
获取存储在字典中的样本数据，并将所述待处理的原始数据与所述字典中的样本数据进行匹配，以得到所述待选数据。


6.根据权利要求1所述的数...

【专利技术属性】
技术研发人员：艾杰，彭滔，朱彤，王军涛，宝颜鹏，胥世承，
申请(专利权)人：天津新开心生活科技有限公司，天津开心生活科技有限公司，
类型：发明
国别省市：天津;12