本发明专利技术实施例涉及人工智能领域，公开了一种基于深度学习模型的数据处理方法、装置、设备及介质，该方法包括：对数据处理参数进行定义，并根据定义对应的逻辑参数生成pip包；接收携带接口标识和多个数据标识的数据集的获取请求；通过与接口标识对应的接口调用pip包获取与数据标识对应的训练数据，并对训练数据进行预处理得到数据集；对数据集进行拆分处理得到训练数据集，并将训练数据集输入深度学习模型进行训练，得到数据推荐模型；将数据推荐请求中携带目标接口标识和待处理数据的数据标识输入数据推荐模型，得到推荐结果数据，提高了数据推荐的效率和准确率。本发明专利技术涉及区块链技术，如可将数据集写入区块链中，以用于数据取证等场景。取证等场景。取证等场景。
【技术实现步骤摘要】
基于深度学习模型的数据处理方法、装置、设备及介质
[0001]本专利技术涉及人工智能领域，尤其涉及一种基于深度学习模型的数据处理方法、装置、设备及介质。
技术介绍
[0002]在广告推荐、商品推荐等推荐系统中，推荐模型的传统实现方式是使用机器学习来构建，而目前越来越趋于使用深度学习技术，而深度学习模型训练流程中，第一步需要对数据进行预处理，作为训练的原始数据(如用户、商品等信息)，首先要将他们从数据库中获取出来，然后对获取到的数据进行预处理，成为深度学习模型可输入的数据。
[0003]目前从数据库中获取数据的流程通常是通过手动编码的方式，并针对各类需要的数据进行筛选，筛选后做对应的数据预处理，最终持久化存储为文件。文件中内容即为深度学习模型训练时可接收的张量，以对模型进行训练。然而，此流程在获取、筛选、预处理数据上需要花费很多时间进行编码的工作，需要针对不同的模型进行不同的编码工作，整个流程较长需要花费较长时间，从而导致数据推荐的效率较低，准确性较低。因此，如何提高数据推荐的效率和准确率成为一项重要议题。
技术实现思路
[0004]本专利技术实施例提供了一种基于深度学习模型的数据处理方法、装置、设备及介质，可以减少针对数据获取、数据筛选、数据预处理等需要进行的编码工作，提高了数据推荐的效率和准确率。
[0005]第一方面，本专利技术实施例提供了一种基于深度学习模型的数据处理方法，包括：
[0006]根据预设编译规则，使用指定编码语言对数据处理参数进行定义，并获取所述定义对应的逻辑参数，根据所述逻辑参数将算子代码编译生成pip包生成脚本，并根据所述pip包生成脚本生成pip包，其中，所述数据处理参数用于指示从数据库中获取数据和/或对获取的数据进行预处理；
[0007]接收数据集的获取请求，所述数据集的获取请求中携带接口标识和多个数据标识；
[0008]确定与所述接口标识对应的接口，并通过所述接口调用所述pip包从所述数据库中获取与所述数据标识对应的训练数据，并对所述训练数据进行预处理，得到数据集；
[0009]对所述数据集进行拆分处理得到训练数据集，并将所述训练数据集输入预设的深度学习模型进行训练，得到数据推荐模型；
[0010]获取数据推荐请求，所述数据推荐请求中携带了目标接口标识和待处理数据的数据标识，将所述目标接口标识和所述待处理数据的数据标识输入所述数据推荐模型，得到所述待处理数据的推荐结果数据。
[0011]进一步地，所述根据预设编译规则，使用指定编码语言对数据处理参数进行定义，包括：
[0012]获取所述预设的深度学习模型中的自定义算子编译规则；
[0013]根据所述自定义算子编译规则使用所述指定编码语言，编写通用的算子定义，以实现对所述数据处理参数的定义。
[0014]进一步地，所述通过所述接口调用所述pip包从所述数据库中获取与所述数据标识对应的训练数据，包括：
[0015]根据所述pip包中对所述数据处理参数的定义确定从所述数据库中获取数据的数据获取规则；
[0016]根据所述数据获取规则从所述数据库中获取与所述数据标识对应的训练数据。
[0017]进一步地，所述对所述训练数据进行预处理，得到数据集，包括：
[0018]根据所述pip包中对所述数据处理参数的定义确定对数据进行预处理的预处理规则；
[0019]根据所述预处理规则对从所述数据库中获取与所述数据标识对应的训练数据进行预处理。
[0020]进一步地，所述对所述数据集进行拆分处理得到训练数据集，包括：
[0021]根据预设比例对所述数据集进行拆分处理，得到所述训练数据集；
[0022]所述将所述训练数据集输入预设的深度学习模型进行训练，得到数据推荐模型，包括：
[0023]按照预设的批量拆分规则对所述训练数据集进行批量拆分处理，得到多个子训练数据集；
[0024]将所述多个子训练数据集输入所述预设的深度学习模型进行训练，得到所述数据推荐模型。
[0025]进一步地，所述将所述多个子训练数据集输入所述预设的深度学习模型进行训练，得到所述数据推荐模型，包括：
[0026]将所述多个子训练数据集输入所述预设的深度学习模型，得到损失函数值；
[0027]当所述损失函数值不满足预设条件时，根据所述损失函数值调整所述预设的深度学习模型的模型参数，并将所述多个子训练数据集输入调整模型参数后的深度学习模型进行迭代训练；
[0028]当迭代训练得到的损失函数值满足所述预设条件时，确定得到所述数据推荐模型。
[0029]进一步地，所述将所述目标接口标识和所述待处理数据的数据标识输入所述数据推荐模型，得到所述待处理数据的推荐结果数据，包括：
[0030]将所述目标接口标识和所述待处理数据的数据标识输入所述数据推荐模型，通过与所述目标接口标识对应的目标接口调用所述数据推荐模型中pip包；
[0031]根据所述pip包中对从所述数据处理参数的定义从所述数据库中获取与所述待处理数据的数据标识对应的待处理数据；
[0032]根据所述pip包中对所述数据处理参数的定义对所述待处理数据进行预处理得到目标数据，并将所述目标数据输入所述数据推荐模型中，得到所述目标数据对应的推荐结果数据。
[0033]第二方面，本专利技术实施例提供了一种基于深度学习模型的数据处理装置，包括：
[0034]生成单元，用于根据预设编译规则，使用指定编码语言对数据处理参数进行定义，并获取所述定义对应的逻辑参数，根据所述逻辑参数将算子代码编译生成pip包生成脚本，并根据所述pip包生成脚本生成pip包，其中，所述数据处理参数用于指示从数据库中获取数据和/或对获取的数据进行预处理；
[0035]接收单元，用于接收数据集的获取请求，所述数据集的获取请求中携带接口标识和多个数据标识；
[0036]处理单元，用于确定与所述接口标识对应的接口，并通过所述接口调用所述pip包从所述数据库中获取与所述数据标识对应的训练数据，并对所述训练数据进行预处理，得到数据集；
[0037]训练单元，用于对所述数据集进行拆分处理得到训练数据集，并将所述训练数据集输入预设的深度学习模型进行训练，得到数据推荐模型；
[0038]推荐单元，用于获取数据推荐请求，所述数据推荐请求中携带了目标接口标识和待处理数据的数据标识，将所述目标接口标识和所述待处理数据的数据标识输入所述数据推荐模型，得到所述待处理数据的推荐结果数据。
[0039]第三方面，本专利技术实施例提供了一种计算机设备，包括处理器和存储器，其中，所述存储器用于存储计算机程序，所述计算机程序包括程序，所述处理器被配置用于调用所述计算机程序，执行上述第一方面的方法。
[0040]第四方面，本专利技术实施例提供了一种计算机可读存储介质，所述计算机存储介质存储有计算机程序，所述计算机程序被处理器执行以实现上述第一方面的方法。
[0本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种基于深度学习模型的数据处理方法，其特征在于，包括：根据预设编译规则，使用指定编码语言对数据处理参数进行定义，并获取所述定义对应的逻辑参数，根据所述逻辑参数将算子代码编译生成pip包生成脚本，并根据所述pip包生成脚本生成pip包，其中，所述数据处理参数用于指示从数据库中获取数据和/或对获取的数据进行预处理；接收数据集的获取请求，所述数据集的获取请求中携带接口标识和多个数据标识；确定与所述接口标识对应的接口，并通过所述接口调用所述pip包从所述数据库中获取与所述数据标识对应的训练数据，并对所述训练数据进行预处理，得到数据集；对所述数据集进行拆分处理得到训练数据集，并将所述训练数据集输入预设的深度学习模型进行训练，得到数据推荐模型；获取数据推荐请求，所述数据推荐请求中携带了目标接口标识和待处理数据的数据标识，将所述目标接口标识和所述待处理数据的数据标识输入所述数据推荐模型，得到所述待处理数据的推荐结果数据。2.根据权利要求1所述的方法，其特征在于，所述根据预设编译规则，使用指定编码语言对数据处理参数进行定义，包括：获取所述预设的深度学习模型中的自定义算子编译规则；根据所述自定义算子编译规则使用所述指定编码语言，编写通用的算子定义，以实现对所述数据处理参数的定义。3.根据权利要求1所述的方法，其特征在于，所述通过所述接口调用所述pip包从所述数据库中获取与所述数据标识对应的训练数据，包括：根据所述pip包中对所述数据处理参数的定义确定从所述数据库中获取数据的数据获取规则；根据所述数据获取规则从所述数据库中获取与所述数据标识对应的训练数据。4.根据权利要求1所述的方法，其特征在于，所述对所述训练数据进行预处理，得到数据集，包括：根据所述pip包中对所述数据处理参数的定义确定对数据进行预处理的预处理规则；根据所述预处理规则对从所述数据库中获取与所述数据标识对应的训练数据进行预处理。5.根据权利要求1所述的方法，其特征在于，所述对所述数据集进行拆分处理得到训练数据集，包括：根据预设比例对所述数据集进行拆分处理，得到所述训练数据集；所述将所述训练数据集输入预设的深度学习模型进行训练，得到数据推荐模型，包括：按照预设的批量拆分规则对所述训练数据集进行批量拆分处理，得到多个子训练数据集；将所述多个子训练数据集输入所述预设的深度学习模型进行训练，得到所述数据推荐模型。6.根据权利要求5所述的方法，其特征在于，所述将所述多个子训练数据集输入所述预设的深度学习模型进行训练，得到所述数据推荐模型，包括：将所述...
【专利技术属性】
技术研发人员：蒋佳峻，成杰峰，
申请(专利权)人：中国平安人寿保险股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。