一种数据处理的方法及电子设备技术

公开了一种数据处理的方法及电子设备，用于解决现有技术中由于建模过程中建模数据的深度和广度较差，导致生产的模型的稳定性差的问题。包括：根据知识图谱确定建模数据；根据所述建模数据生成建模集合；根据所述建模集合训练模型；输出所述模型。

A Data Processing Method and Electronic Equipment

A data processing method and an electronic device are disclosed for solving the problem of poor stability of production models due to poor depth and breadth of modeling data in the process of modeling in the prior art. It includes: determining modeling data according to knowledge map; generating modeling set based on the modeling data; training model based on the modeling set; and outputting the model.

【技术实现步骤摘要】
一种数据处理的方法及电子设备
本专利技术涉及数据处理领域，尤其涉及一种数据处理的方法及电子设备。
技术介绍
随着互联网技术的发展、数据的不断增加，使用现有技术进行建模时，建模前需要将关系型数据库中的实体进行向量化，然后构建集合生成模型，具体的，需要通过人工提取或者通过特征学习的方式将实体的描述维度向量化，但由于关系性数据库的数据只能将确定出实体的平面维度，因此无法有效将实体关系通过实体向量化利用起来，造成数据利用的深度不够的问题，并且随着数据的增加，关系型数据库在描述大量实体关系时不堪重负，导致关系型数据库的处理密集查询的性能也会随之变差，构建集合的效率低，而且关系性数据库的扩展性差，影响建模时数据来源的广度，由于建模过程中建模数据的深度和广度较差，导致生产的模型的稳定性差。综上所述，如何提高建模过程中建模数据的深度和广度，提高模型的稳定性，是目前需要解决的问题。
技术实现思路
有鉴于此,本专利技术实施例提供了一种数据处理的方法及电子设备，提高了建模过程中建模数据的深度和广度，提高了模型的稳定性。根据本专利技术实施例的第一方面，提供了一种数据处理的方法，包括：根据知识图谱确定建模数据；根据所述建模数据生成建模集合；根据所述建模集合训练模型；输出所述模型。在一个实施例中，根据知识图谱确定建模数据，具体包括：在所述知识图谱的图数据库中确定实体和实体属性；在所述知识图谱的关系数据库和非关系数据库中确定所述实体和实体属性对应的第一数据；通过所述实体、所述实体属性以及所述第一数据确定实体向量化数据，并通过设定算法确定所述实体的关系数据；将所述关系数据映射到所述实体向量化数据中，确定所述建模数据。在一个实施例中，所述设定算法为概率图模型算法。在一个实施例中，所述建模集合包括训练集、测试集和验证集。在一个实施例中，根据所述建模集合训练模型，具体包括：根据所述建模集合，通过机器学习训练所述模型。在一个实施例中，所述输出所述模型，具体包括：通过配置文件输出所述模型。根据本专利技术实施例的第二方面，提供了一种计算机可读存储介质，其上存储计算机程序指令，所述计算机程序指令在被处理器执行时实现如第一方面或第一方面任一实施例中所述的方法。根据本专利技术实施例的第三方面，提供了一种电子设备，包括存储器和处理器，所述存储器用于存储一条或多条计算机程序指令，其中，所述一条或多条计算机程序指令被所述处理器执行以实现如第一方面或第一方面任一实施例中所述的方法。本专利技术实施例中，首先根据知识图谱确定建模数据，然后根据所述建模数据生成建模集合训练模型，最后输出所述模型。由于根据知识图谱处理密集查询的性能较高，因此生成建模集合的效率较高，并且根据知识图谱确定的建模数据深度和广度较高，提高了模型的稳定性。附图说明通过以下参照附图对本专利技术实施例的描述，本专利技术的上述以及其它目的、特征和优点将更为清楚，在附图中：图1是本专利技术实施例提供的一种数据处理的方法流程图；图2是本专利技术实施例提供的一种图数据库、关系数据库和非关系数据库关系示意图；图3是本专利技术实施例提供的图数据库结构示意图；图4是本专利技术实施例提供的图数据库的内部关系示意图；图5是本专利技术实施例提供的一种电子设备示意图。具体实施方式以下基于实施例对本专利技术进行描述，但是本专利技术并不仅仅限于这些实施例。在下文对本专利技术的细节描述中，详尽描述了一些特定的细节部分。对本领域技术人员来说没有这些细节部分的描述也可以完全理解本专利技术。为了避免混淆本专利技术的实质，公知的方法、过程、流程、元件和电路并没有详细叙述。此外，本领域普通技术人员应当理解，在此提供的附图都是为了说明的目的，并且附图不一定是按比例绘制的。除非上下文明确要求，否则整个说明书和权利要求书中的“包括”、“包含”等类似词语应当解释为包含的含义而不是排他或穷举的含义；也就是说，是“包括但不限于”的含义。在本专利技术实施例的描述中，需要理解的是，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。此外，在本专利技术实施例的描述中，除非另有说明，“多个”的含义是两个或两个以上。图1是本专利技术实施例的一种数据处理的方法流程图。如图1所示，所述数据处理的方法包括：步骤S100、根据知识图谱确定建模数据。具体的，在所述知识图谱的图数据库中确定实体和实体属性；在所述知识图谱的关系数据库和非关系数据库中确定所述实体和实体属性对应的第一数据；通过所述实体、所述实体属性以及所述第一数据确定实体向量化数据，并通过设定算法确定所述实体的关系数据；将所述关系数据映射到所述实体向量化数据中，确定所述建模数据。其中，所述设定算法为概率图模型算法。举例说明，所述知识图谱中包括图数据库、关系数据库和非关系数据库，其中，所述图数据库可以表示为G、所述关系数据库可以表示为M、所述非关系数据库可以表示为N，所述G、M、N的关系如图2所示，其中，图数据库G中包括实体、实体属性和实体关系，关系型数据库M中包括实体时序数据，非关系数据库N中包括实体相关文本、图像等非结构数据，图数据库G与关系数据库M通过实体时序数据索引关联，图数据库G与非关系数据库N通过实体非结构数据索引关联，其中，所述实体时序数据索引和实体非结构数据索引都存储在所述图数据库G中的实体属性中。其中，所述知识图谱可以称为data-KG，从data-KG抽取建模数据的具体过程如下：首先通过图数据库G确定实体和实体属性，再通过图数据库G中与关系数据库M和非关系数据库N的相应索引，从关系数据库M和非关系数据库N中抽取相应的建模数据，与图数据库G中的实体和实体属性一起构建实体向量化数据，同时通过概率图模型算法的应用建立实体的关系数据映射到所抽取的建模数据中。步骤S101、根据所述建模数据生成建模集合。具体的，所述建模集合包括训练集、测试集和验证集。步骤S102、根据所述建模集合训练模型。具体的，根据所述建模集合，通过机器学习训练所述模型。举例说明，根据所述训练集、测试集和验证集，通过机器学习训练所述模型。步骤S103、输出所述模型。具体的，通过配置文件输出所述模型。其中，所述配置文件为config文件，按照config文件的格式输出相应的模型，其中，config文件的格式是预先设置的。为了更好的对上述方案进行理解，更清楚的对知识图谱进行详细说明，下面对知识图谱中的图数据库G、关系数据库M、非关系数据库N分别进行说明。一、图数据库G，如图3所示，其中，图3(1)为现在有的关系型数据库，3(2)为图形数据库G，当需要描述大量关系时，现有的关系型数据库已经不堪重负，只能承担较多实体但是实体间关系略显简单的情况，而对于实体间关系非常复杂的情况，常常需要在关系之中记录数据，则需要采用图形数据库，可以提升运行性能，提高系统开发效率，减少维护成本。图数据库G在数据集增大时，性能保持不变，是因为只查询图数据库中一部分相关数据，查询的执行时间和满足查询条件的那部分遍历的图的大小成正比，而不需要遍历整个图数据库，因此保证了查询速度，在步骤S101，生成建模集合时的速度也因此得到了提高；并且图数据库G可扩展能力强，当增加不同种类的联系、新节点(实体)和新子图时，不会破坏已有的查询或应用程序的功能，具有灵活性，而且不必在项目最初完整的设计数据库模型，可扩展性也可以减少数据本文档来自技高网...

【技术保护点】
1.一种数据处理的方法，其特征在于，包括：根据知识图谱确定建模数据；根据所述建模数据生成建模集合；根据所述建模集合训练模型；输出所述模型。

【技术特征摘要】
1.一种数据处理的方法，其特征在于，包括：根据知识图谱确定建模数据；根据所述建模数据生成建模集合；根据所述建模集合训练模型；输出所述模型。2.如权利要求1所述的方法，其特征在于，根据知识图谱确定建模数据，具体包括：在所述知识图谱的图数据库中确定实体和实体属性；在所述知识图谱的关系数据库和非关系数据库中确定所述实体和实体属性对应的第一数据；通过所述实体、所述实体属性以及所述第一数据确定实体向量化数据，并通过设定算法确定所述实体的关系数据；将所述关系数据映射到所述实体向量化数据中，确定所述建模数据。3.如权利要求2所述的方法，其特征在于，所述设定算法为概率图模型算法。4.如权利要求1所述的...

【专利技术属性】
技术研发人员：黄华，
申请(专利权)人：北京小乘网络科技有限公司，
类型：发明
国别省市：北京,11