一种数据建模的方法、装置、电子设备及可读介质制造方法及图纸

本公开实施例公开了一种数据建模的方法、装置、电子设备及可读介质。该方法包括：获取用户在特征字典中所选取的初选特征，并将所述初选特征写入到第一配置文件中；对所述第一配置文件中所述初选特征进行筛选，得到精选特征；根据所述精选特征进行数据模型的训练，得到数据模型。通过采用本公开所提供的技术方案，可以实现结构化、统一化、简易化的数据建模流程。

【技术实现步骤摘要】
一种数据建模的方法、装置、电子设备及可读介质
本公开实施例涉及数据建模
，尤其涉及一种数据建模的方法、装置、电子设备及可读介质。
技术介绍
目前，数据建模在很多领域都得到广泛的应用，已经成为数据处理领域的第一大工具。现有技术中，对于数据建模需要：数据清洗、特征提取、特征筛选、模型训练、模型测试、部署，六个模块。每个模块都是单独的，如果针对每个任务都重新建立数据模型的话，就会有很多重复的工作，因为都要有相应的六个模块的设计过程，数据建模的流程中会有重复的环节。不同的人做的数据模型水平也会不同，导致虽然针对同一任务，每个人所做的数据模型的结果反映出来的效果却不统一。
技术实现思路
本公开实施例提供一种数据建模的方法、装置、电子设备及可读介质，可以实现结构化、统一化、简易化的数据建模流程。第一方面，本公开实施例提供了一种数据建模的方法，该方法包括：获取用户在特征字典中所选取的初选特征，并将所述初选特征写入到第一配置文件中；对所述第一配置文件中所述初选特征进行筛选，得到精选特征；根据所述精选特征进行数据模型的训练，得到数据模型。进一步的，根据所述精选特征进行数据模型的训练，得到数据模型，包括：获取用户从第二配置文件待选模型训练算法中选择的模型训练算法；将所选择的模型训练算法作为执行模型训练算法；利用所述执行模型训练算法对样本数据根据所述精选特征进行模型训练。进一步的，获取用户选择的模型训练算法包括获取用户选择两种及以上的模型训练算法；相应的，将所选择的模型训练算法作为执行模型训练算法，包括：将所选择的两种及以上的模型训练算法的组合作为执行模型训练算法。进一步的，将所选择的两种及以上的模型训练算法的组合作为执行模型训练算法，包括：按照用户预先设置的算法组合，或者，根据所述两种及以上的模型训练算法中各种模型训练算法运算结果确定算法组合，来进行模型训练。进一步的，在根据所述精选特征进行数据模型的训练，得到数据模型之后，所述方法还包括：获取用户从第三配置文件中选择的模型测试维度；根据所述模型测试维度与模型测试方法之间的关联关系，确定模型测试方法；根据所述模型测试方法对得到的数据模型进行测试。第二方面，本公开实施例还提供了一种数据建模的装置，该装置包括：特征提取模块，用于获取用户在特征字典中所选取的初选特征，并将所述初选特征写入到第一配置文件中；特征筛选模块，用于对所述第一配置文件中所述初选特征进行筛选，得到精选特征；数据模型训练模块，用于根据所述精选特征进行数据模型的训练，得到数据模型。进一步的，所述数据模型训练模块，包括：模型训练算法选取单元，用于获取用户从第二配置文件待选模型训练算法中选择的模型训练算法；执行模型训练算法确定单元，用于将所选择的模型训练算法作为执行模型训练算法；模型训练单元，用于利用所述执行模型训练算法对样本数据根据所述精选特征进行模型训练。进一步的，所述模型训练算法选取单元，具体用于获取用户选择的模型训练算法包括获取用户选择两种及以上的模型训练算法；相应的，所述执行模型训练算法确定单元，包括：算法组合子单元，用于将所选择的两种及以上的模型训练算法的组合作为执行模型训练算法。进一步的，所述算法组合子单元，具体用于：按照用户预先设置的算法组合，或者，根据所述两种及以上的模型训练算法中各种模型训练算法运算结果确定算法组合，来进行模型训练。进一步的，还包括模型测试模块，具体用于：获取用户从第三配置文件中选择的模型测试维度；根据所述模型测试维度与模型测试方法之间的关联关系，确定模型测试方法；根据所述模型测试方法对得到的数据模型进行测试。第三方面，本公开实施例提供了一种电子设备，包括存储器，处理器及存储在存储器上并可在处理器运行的计算机程序，所述处理器执行所述计算机程序时实现如本公开实施例所述的数据建模的方法。第四方面，本公开实施例提供了一种计算机可读介质，其上存储有计算机程序，该程序被处理器执行时实现如本公开实施例所述的数据建模的方法。本公开实施例所提供的技术方案，通过获取用户在特征字典中所选取的初选特征，并将所述初选特征写入到第一配置文件中；对所述第一配置文件中所述初选特征进行筛选，得到精选特征；根据所述精选特征进行数据模型的训练，得到数据模型。通过采用本公开所提供的技术方案，可以实现结构化、统一化、简易化的数据建模流程。附图说明图1是本公开实施例一提供的数据建模的方法的流程图；图2是本公开实施例一提供的数据建模的方法的流程图；图3是本公开实施例一提供的数据建模的方法的流程图；图4是本公开实施例二提供的数据建模的装置的结构示意图；图5是本公开实施例三提供的一种电子设备的结构示意图。具体实施方式下面结合附图和实施例对本公开作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本公开，而非对本公开的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本公开相关的部分而非全部结构。在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各步骤描述成顺序的处理，但是其中的许多步骤可以被并行地、并发地或者同时实施。此外，各步骤的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。下述各实施例中，每个实施例中同时提供了可选特征和示例，实施例中记载的各个特征可进行组合，形成多个可选方案，不应将每个编号的实施例仅视为一个技术方案。实施例一图1是本公开实施例一提供的数据建模的方法的流程图，本实施例可适用数据建模的情况，该方法可以由本公开实施例所提供的数据建模的装置来执行，该装置可以由软件和/或硬件的方式来实现，并可集成于终端或者服务器中。如图1所示，所述数据建模的方法包括：S110、获取用户在特征字典中所选取的初选特征，并将所述初选特征写入到第一配置文件中。其中，特征字典可以是预先构建的，也可以是临时构建的，还可以从其他的模型训练过程中获取过来。特征字典中装有可供用户选择的所有特征。如一个用户在构建一个数据模型的过程中，可以从特征字典中选择需要的本次模型训练所需要的特征，除此之外，如果特征字典中没有包括用户所需要的特征，那么可以接受用户对特征字典的扩充，这样就可以得到一个相对全面的特征字典。另外，特征字典还可以供不同的用户所使用，可以在一个用户使用或者扩充后的特征字典之后，再将其提供给另一个用户进行使用。这样设置的好处是可以通过提供一个大而全的特征字典，为用户提供更多的特征提取的选择，避免因为用户的能力水平的限制，而无法提取出质量相对较好的特征。这样就可以在模型训练的特征提取过程中实现统一化、简易化的数据建模流程，即用户只需要通过在特征字典中点击就可以，无需复杂的代码录入操作。在获取用户在特征字典中所选取的初选特征之后，将所述初选特征写入到第一配置文件中。其中第一配置文件可以是用于对初选特征进行筛选的配置文件，其中可以装有特征的模板代码，当用户选择初选特征之后，可以通过将初选特征对应的信息写入到模板代码中，并存储在第一配置文件中。除了以模板代码的形式，还可以以其他任何一种将初选特征写入到第一配置文件的方式。S120、对所述第一配置文件中所本文档来自技高网...

【技术保护点】
1.一种数据建模的方法，其特征在于，包括：获取用户在特征字典中所选取的初选特征，并将所述初选特征写入到第一配置文件中；对所述第一配置文件中所述初选特征进行筛选，得到精选特征；根据所述精选特征进行数据模型的训练，得到数据模型。

【技术特征摘要】
1.一种数据建模的方法，其特征在于，包括：获取用户在特征字典中所选取的初选特征，并将所述初选特征写入到第一配置文件中；对所述第一配置文件中所述初选特征进行筛选，得到精选特征；根据所述精选特征进行数据模型的训练，得到数据模型。2.根据权利要求1所述的方法，其特征在于，根据所述精选特征进行数据模型的训练，得到数据模型，包括：获取用户从第二配置文件待选模型训练算法中选择的模型训练算法；将所选择的模型训练算法作为执行模型训练算法；利用所述执行模型训练算法对样本数据根据所述精选特征进行模型训练。3.根据权利要求2所述的方法，其特征在于，获取用户选择的模型训练算法包括获取用户选择两种及以上的模型训练算法；相应的，将所选择的模型训练算法作为执行模型训练算法，包括：将所选择的两种及以上的模型训练算法的组合作为执行模型训练算法。4.根据权利要求3所述的方法，其特征在于，将所选择的两种及以上的模型训练算法的组合作为执行模型训练算法，包括：按照用户预先设置的算法组合，或者，根据所述两种及以上的模型训练算法中各种模型训练算法运算结果确定算法组合，来进行模型训练。5.根据权利要求1所述的方法，其特征在于，在根据所述精选特征进行数据模型的训练，得到数据模型之后，所述方法还包括：获取用户从第三配置文件中选择的模型测试维度；根据所述模型测试维度与模型测试方法之间的关联关系，确定模型测试方法；根据所述模型测试方...

【专利技术属性】
技术研发人员：杨科斌，
申请(专利权)人：北京字节跳动网络技术有限公司，
类型：发明
国别省市：北京,11