基于ETL工具的目标检测模型训练方法及装置制造方法及图纸

本发明专利技术提供一种基于ETL工具的目标检测模型训练方法及装置。方法包括：在接收到ETL工具的后端程序发送来的json请求时，从json请求中获取用户在ETL工具的前端程序中输入的模型训练信息；根据目标检测任务的类型，选择对应的目标检测算法，并设置目标检测算法的超参数；根据图片设置信息从ETL工具的后端程序接入的关系型数据库的训练集表中获取路径信息，并根据路径信息从图片文件夹中获取训练图片以及从标注文件夹中获取训练图片对应的标注信息；根据获取到的训练图片和标注信息对设置好超参数的目标检测算法进行训练，得到目标检测模型。本发明专利技术提供了一种基于ETL工具实现目标检测模型训练的方案。测模型训练的方案。测模型训练的方案。

【技术实现步骤摘要】
基于ETL工具的目标检测模型训练方法及装置


[0001]本专利技术涉及深度学习目标检测模型训练
，特别是涉及一种基于ETL工具的目标检测模型训练方法及装置。

技术介绍

[0002]在应对工业零件识别、工业缺陷检测等图像处理任务时，由于传统的视觉算法识别速度慢、识别精确度低，当前工业领域往往采用基于卷积神经网络的深度学习目标检测技术。目标检测也可称为目标提取，它将图像中的目标的定位和识别任务合二为一，要求实时性和准确性。
[0003]ETL工具，英文全称Extract
‑
Transform
‑
Load，它负责对各种分布不均匀的、多源异构的数据进行抽取，随后按照一定的规则对数据进行清洗、转换、集成并最终加载到数据仓库中，为后续的数据分析、智能决策提供数据基础。但是目前没有一种基于ETL工具实现目标检测模型训练的方案。

技术实现思路

[0004]针对以上至少一个技术问题，本专利技术实施例提供一种基于ETL工具的目标检测模型训练方法及装置。
[0005]根据第一方面，本专利技术实施例提供的基于ETL工具的目标检测模型训练方法，所述ETL工具的后端程序安装在应用服务器中，所述应用服务器中存放有图片文件夹和标注文件夹，所述标注文件夹中存放有所述图片文件夹中的各个图片的标注信息；所述ETL工具的后端程序接入关系型数据库，所述关系型数据库中存放有训练集表和验证集表，所述训练集表和所述验证集表中均存放有图片的多个字段信息，所述多个字段信息包括路径字段信息，所述路径字段信息为存放图片和标注信息的路径信息；
[0006]所述方法由所述应用服务器执行，所述方法包括：
[0007]在接收到所述ETL工具的后端程序发送来的json请求时，从所述json请求中获取用户在所述ETL工具的前端程序中输入的模型训练信息；其中，所述模型训练信息包括目标检测算法的类型、目标检测算法的超参数以及图片设置信息；
[0008]根据所述目标检测算法的类型，选择对应类型的目标检测算法，并根据所述超参数对所述目标检测算法进行超参数设置；
[0009]根据所述图片设置信息从所述ETL工具的后端程序接入的关系型数据库的训练集表中获取路径信息，并根据所述路径信息从所述图片文件夹中获取训练图片以及从所述标注文件夹中获取所述训练图片对应的标注信息；
[0010]根据获取到的所述训练图片和所述标注信息对设置好超参数的目标检测算法进行训练，得到目标检测模型。
[0011]根据第二方面，本专利技术实施例提供的基于ETL工具的目标检测模型训练装置，所述ETL工具的后端程序安装在应用服务器中，所述应用服务器中存放有图片文件夹和标注文
件夹，所述标注文件夹中存放有所述图片文件夹中的各个图片的标注信息；所述ETL工具的后端程序接入关系型数据库，所述关系型数据库中存放有训练集表和验证集表，所述训练集表和所述验证集表中均存放有图片的多个字段信息，所述多个字段信息包括路径字段信息，所述路径字段信息为存放图片和标注信息的路径信息；
[0012]所述训练装置部署在所述应用服务器上，所述训练装置包括：
[0013]第一获取模块，用于在接收到所述ETL工具的后端程序发送来的json请求时，从所述json请求中获取用户在所述ETL工具的前端程序中输入的模型训练信息；其中，所述模型训练信息包括目标检测算法的类型、目标检测算法的超参数以及图片设置信息；
[0014]第一设置模块，根据所述目标检测算法的类型，选择对应类型的目标检测算法，并根据所述超参数对所述目标检测算法进行超参数设置；
[0015]第二获取模块，用于根据所述图片设置信息从所述ETL工具的后端程序接入的关系型数据库的训练集表中获取路径信息，并根据所述路径信息从所述图片文件夹中获取训练图片以及从所述标注文件夹中获取所述训练图片对应的标注信息；
[0016]模型训练模块，用于根据获取到的所述训练图片和所述标注信息对设置好超参数的目标检测算法进行训练，得到目标检测模型。
[0017]根据第三方面，本专利技术实施例提供计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行实现第一方面提供的方法。
[0018]根据第四方面，本专利技术实施例提供的计算设备，包括存储器和处理器，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现第一方面提供的方法。
[0019]本专利技术实施例提供的基于ETL工具的目标检测模型训练方法及装置，各自或者组合具有以下有益效果：
[0020](1)用户在ETL工具的前端程序中输入的模型训练信息，ETL工具的后端程序根据用户设定的模型训练信息生成json请求，然后将json请求发送给应用服务器，这样应用服务器从json请求中获取到模型训练信息，然后根据模型训练信息中的类型选取对应的目标检测算法，进而根据模型训练信息中的超参数对目标检测算法超参数进行设置，然后根据模型训练信息中的图片设置信息从ETL工具的后端程序接入的关系型数据库的训练集表中获取路径信息，进而根据所述路径信息从所述图片文件夹中获取训练图片以及从所述标注文件夹中获取所述训练图片对应的标注信息；最后根据获取到的所述训练图片和所述标注信息对设置好超参数的目标检测算法进行训练，得到目标检测模型。可见，本专利技术实施例提供了一种基于ETL工具实现目标检测模型训练的方案。在上述过程中依据ETL工具实现模型训练，且ETL工具的后端程序接入关系型数据库，关系型数据库中存储有图片的路径信息，使得ETL工具支持接入图片数据，使得ETL工具可以用于针对图片的目标检测模型的训练。
[0021](2)在一个实施例中，依据召回率、精确度、平均准确度三个参量对目标检测模型进行评价，使得目标检测模型的评价更加全面。而且，可以使得用户可以根据自己的偏好或者任务需求，通过设置权重的方式更加重视某个参量的结果，使得训练得到的目标检测模型也更加符合用户的偏好或者任务需求。
[0022](3)在一个实施例中，用户可以通过ETL工具的前端程序实现对图片和标注信息进行预览。
附图说明
[0023]图1为本专利技术一实施例中系统架构的部署示意图；
[0024]图2为本专利技术一实施例中基于ETL工具的目标检测模型训练方法的流程示意图；
[0025]图3为本专利技术一个实施例中P
‑
R曲线的示意图。
具体实施方式
[0026]第一方面，本专利技术实施例提供一种基于ETL工具的目标检测模型训练方法，参见图1，所述ETL工具的后端程序安装在应用服务器中，所述应用服务器中存放有图片文件夹和标注文件夹，所述标注文件夹中存放有所述图片文件夹中的各个图片的标注信息；所述ETL工具的后端程序接入关系型数据库，所述关系型数据库中存放有训练集表和验证集表，所述训练集表和所述验证集表中均存放有图片的多个字段信息，所述多个字段信息包括路径字段信息，所述路径字段信息为存放图片和标注信息的路径信息本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于ETL工具的目标检测模型训练方法，其特征在于，所述ETL工具的后端程序安装在应用服务器中，所述应用服务器中存放有图片文件夹和标注文件夹，所述标注文件夹中存放有所述图片文件夹中的各个图片的标注信息；所述ETL工具的后端程序接入关系型数据库，所述关系型数据库中存放有训练集表和验证集表，所述训练集表和所述验证集表中均存放有图片的多个字段信息，所述多个字段信息包括路径字段信息，所述路径字段信息为存放图片和标注信息的路径信息；所述方法由所述应用服务器执行，所述方法包括：在接收到所述ETL工具的后端程序发送来的json请求时，从所述json请求中获取用户在所述ETL工具的前端程序中输入的模型训练信息；其中，所述模型训练信息包括目标检测算法的类型、目标检测算法的超参数以及图片设置信息；根据所述目标检测算法的类型，选择对应类型的目标检测算法，并根据所述超参数对所述目标检测算法进行超参数设置；根据所述图片设置信息从所述ETL工具的后端程序接入的关系型数据库的训练集表中获取路径信息，并根据所述路径信息从所述图片文件夹中获取训练图片以及从所述标注文件夹中获取所述训练图片对应的标注信息；根据获取到的所述训练图片和所述标注信息对设置好超参数的目标检测算法进行训练，得到目标检测模型。2.根据权利要求1所述的方法，其特征在于，所述图片设置信息包括图片选择方式和/或图片数量；所述图片选择方式包括顺序选择方式和随机选择方式。3.根据权利要求1所述的方法，其特征在于，所述根据获取到的所述训练图片和所述标注信息对设置好超参数的目标检测算法进行训练，得到目标检测模型，包括：在每一次训练完毕后，从所述ETL工具的后端程序接入的关系型数据库的验证集表中获取路径信息，并根据所述路径信息从所述图片文件夹中获取验证图片以及从所述标注文件夹中获取所述验证图片对应的标注信息；根据获取到的所述验证图片和所述标注信息对本次训练得到的目标检测模型进行验证，得到本次训练得到的目标检测模型的多个召回率和多个精确度；根据所述多个召回率和多个精确度，对本次训练得到的目标检测模型进行评价，并将评价结果返回至所述ETL工具的前端程序，以供人员确定终止训练或继续训练。4.根据权利要求3所述的方法，其特征在于，所述根据所述多个召回率和多个精确度，对本次训练得到的目标检测模型进行评价，包括：根据所述多个召回率和所述多个精确度，形成平均准确度曲线；其中，所述平均准确度曲线的横轴坐标为召回率且纵轴坐标为精确度，所述平均准确度曲线与坐标系第一象限形成的面积为平均准确度；根据所述多个召回率、多个精确度和所述平均...

【专利技术属性】
技术研发人员：黑俊铭，蔺川，
申请(专利权)人：浪潮通用软件有限公司，
类型：发明
国别省市：