一种模型训练以及图像处理方法及装置制造方法及图纸

本说明书公开了一种模型训练以及图像处理方法及装置，可获取不同分辨率的各第一图像及对应的各第二图像，并根据各图像的对应关系以及各图像中包含的内容，确定各训练样本及标注。之后，将各训练样本分别输入第一特征提取层以及超分辨率网络层，确定低分辨率特征、第三图像以及分辨率转化特征，并基于该第三图像确定高分辨率特征，将低分辨率特征、分辨率转化特征以及高分辨率特征输入识别网络层，确定识别结果。最后，根据第三图像、识别结果以及该训练样本的标注确定最终损失，并以最小化最终损失为目标，调整该待训练的识别模型中的模型参数。通过低分辨率特征、分辨率转化特征以及高分辨率特征，共同进行图像识别，使图像识别结果更加准确。

【技术实现步骤摘要】
一种模型训练以及图像处理方法及装置
本申请涉及机器学习
，尤其涉及一种模型训练以及图像处理方法及装置。
技术介绍
图像识别是一种常见的图像处理方法，广泛应用于各领域中，如，人脸识别以及智能机器人的障碍物识别等。一般的，图像识别的成功率以及准确率与待识别图像的分辨率相关，待识别图像的分辨率越高，图像识别的成功率越高，图像识别准确率也越高。但是，基于图像采集环境以及图像采集设备等因素的影响，当图像采集环境的光线较暗、图像采集设备的像素较差时，所采集的待识别图像的清晰度也较差，也就是说，图像分辨率较低，进一步导致图像识别的准确率较低。
技术实现思路
本说明书实施例提供一种模型训练以及图像处理方法及装置，用于部分解决现有技术中存在的问题。本说明书实施例采用下述技术方案：本说明书提供的一种模型训练方法，待训练的识别模型至少包含第一特征提取层、超分辨率网络层、第二特征提取层以及识别网络层；所述方法包括：获取若干张高分辨率的第一图像及其对应的低分辨率的第二图像，所述第一图像中包含目标物体；根据确定出的各第二图像，确定各训练样本，并根据各第二图像对应的第一图像，确定各训练样本的第一标注，以及根据各第二图像中包含的目标物体的属性，确定各训练样本的第二标注；针对每个训练样本，将该训练样本分别输入所述第一特征提取层，确定输出的低分辨率特征，以及输入所述超分辨率网络层，确定输出的高分辨率的第三图像以及分辨率转化特征；将所述第三图像输入所述第二特征提取层，确定输出的高分辨率特征；将确定出的低分辨率特征、分辨率转化特征以及高分辨率特征输入所述识别网络层，确定输出的识别结果；根据通过所述第三图像以及该训练样本的第一标注确定出的第一损失，以及通过所述识别结果以及该训练样本的第二标注确定出的第二损失，确定最终损失，并以最小化所述最终损失为目标，调整所述待训练的识别模型中的模型参数，所述识别模型用于根据低分辨率图像确定识别结果。可选地，所述识别模型还包含第三特征提取层；将确定出的低分辨率特征、分辨率转化特征以及高分辨率特征输入所述识别网络层，具体包括：将所述分辨率转化特征输入所述第三特征提取层，确定输出的转化深层特征；将确定出的低分辨率特征、高分辨率特征以及转化深层特征输入所述识别网络层。可选地，所述识别模型还包含特征融合层；将确定出的低分辨率特征、分辨率转化特征以及高分辨率特征输入所述识别网络层，具体包括：将确定出的低分辨率特征、分辨率转化特征以及高分辨率特征输入所述特征融合层，确定输出的融合特征；将确定出的融合特征输入所述识别网络层。可选地，所述识别模型还包含特征融合层；将确定出的低分辨率特征、高分辨率特征以及转化深层特征输入所述识别网络层，具体包括：将确定出的低分辨率特征、高分辨率特征以及转化深层特征输入所述特征融合层，确定输出的融合特征；将确定出的融合特征输入所述识别网络层。可选地，所述超分辨率网络层包含第四特征提取层、非线性映射层以及图像重构层；将该训练样本输入所述超分辨率网络层，确定输出的高分辨率的第三图像以及分辨率转化特征，具体包括：将该训练样本输入所述超分辨率网络层的第四特征提取层中，确定所述第四特征提取层输出的分辨率转化特征，所述分辨率转化特征用于重构生成高分辨率的图像。本说明书提供的一种图像处理方法，包括：接收终端发送的待识别的目标图像，所述目标图像中包含目标物体；将所述待识别的目标图像分别输入预先训练的识别模型的第一特征提取层，确定输出的低分辨率特征，以及输入所述识别模型的超分辨率网络层，确定输出的高分辨率的第三图像以及分辨率转化特征；将所述第三图像输入所述识别模型的第二特征提取层，确定输出的高分辨率特征；将确定出的低分辨率特征、分辨率转化特征以及高分辨率特征输入所述识别模型的识别网络层中，确定输出的识别结果。本说明书提供一种模型训练装置，所述待训练的识别模型至少包含第一特征提取层、超分辨率网络层、第二特征提取层以及识别网络层；所述装置包括：获取模块，获取若干张高分辨率的第一图像及其对应的低分辨率的第二图像，所述第一图像中包含目标物体；第一确定模块，根据确定出的各第二图像，确定各训练样本，并根据各第二图像对应的第一图像，确定各训练样本的第一标注，以及根据各第二图像中包含的目标物体的属性，确定各训练样本的第二标注；第二确定模块，针对每个训练样本，将该训练样本分别输入所述第一特征提取层，确定输出的低分辨率特征，以及输入所述超分辨率网络层，确定输出的高分辨率的第三图像以及分辨率转化特征；第三确定模块，将所述第三图像输入所述第二特征提取层，确定输出的高分辨率特征；识别模块，将确定出的低分辨率特征、分辨率转化特征以及高分辨率特征输入所述识别网络层，确定输出的识别结果；调整模块，根据通过所述第三图像以及该训练样本的第一标注确定出的第一损失，以及通过所述识别结果以及该训练样本的第二标注确定出的第二损失，确定最终损失，并以最小化所述最终损失为目标，调整所述待训练的识别模型中的模型参数，所述识别模型用于根据低分辨率图像确定识别结果。本说明书提供一种图像处理装置，包括：接收模块，接收终端发送的待识别的目标图像，所述目标图像中包含目标物体；第一确定模块，将所述待识别的目标图像分别输入预先训练的识别模型的第一特征提取层，确定输出的低分辨率特征，以及输入所述识别模型的超分辨率网络层，确定输出的高分辨率的第三图像以及分辨率转化特征；第二确定模块，将所述第三图像输入所述识别模型的第二特征提取层，确定输出的高分辨率特征；识别模块，将确定出的低分辨率特征、分辨率转化特征以及高分辨率特征输入所述识别模型的识别网络层中，确定输出的识别结果。本说明书提供的一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述模型训练或图像处理方法。本说明书提供的一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述模型训练或图像处理方法。本说明书实施例采用的上述至少一个技术方案能够达到以下有益效果：在本说明书中，可先获取若干张高分辨率的第一图像及其对应的低分辨率的第二图像，并根据确定出的各第二图像，确定各训练样本，以及根据各第二图像对应的第一图像与各第二图像中包含的目标物体的属性，确定各训练样本的第一标注和第二标注。之后，针对每个训练样本，将该训练样本分别输入识别模型的第一特征提取层以及超分辨率网络层，确定低分辨率特征、高分辨率的第三图像以及分辨率转化特征，再将该第三图像输入该识别模型的第二特征提取层，确定高分辨率特征，将确定出的低分辨率特征、分辨率转化特征以及高分辨率特征输入该识别模型的识别网络层，确定识别结果。最后，基本文档来自技高网...

【技术保护点】
1.一种模型训练方法，其特征在于，待训练的识别模型至少包含第一特征提取层、超分辨率网络层、第二特征提取层以及识别网络层；/n所述方法包括：/n获取若干张高分辨率的第一图像及其对应的低分辨率的第二图像，所述第一图像中包含目标物体；/n根据确定出的各第二图像，确定各训练样本，并根据各第二图像对应的第一图像，确定各训练样本的第一标注，以及根据各第二图像中包含的目标物体的属性，确定各训练样本的第二标注；/n针对每个训练样本，将该训练样本分别输入所述第一特征提取层，确定输出的低分辨率特征，以及输入所述超分辨率网络层，确定输出的高分辨率的第三图像以及分辨率转化特征；/n将所述第三图像输入所述第二特征提取层，确定输出的高分辨率特征；/n将确定出的低分辨率特征、分辨率转化特征以及高分辨率特征输入所述识别网络层，确定输出的识别结果；/n根据通过所述第三图像以及该训练样本的第一标注确定出的第一损失，以及通过所述识别结果以及该训练样本的第二标注确定出的第二损失，确定最终损失，并以最小化所述最终损失为目标，调整所述待训练的识别模型中的模型参数，所述识别模型用于根据低分辨率图像确定识别结果。/n

【技术特征摘要】
1.一种模型训练方法，其特征在于，待训练的识别模型至少包含第一特征提取层、超分辨率网络层、第二特征提取层以及识别网络层；
所述方法包括：
获取若干张高分辨率的第一图像及其对应的低分辨率的第二图像，所述第一图像中包含目标物体；
根据确定出的各第二图像，确定各训练样本，并根据各第二图像对应的第一图像，确定各训练样本的第一标注，以及根据各第二图像中包含的目标物体的属性，确定各训练样本的第二标注；
针对每个训练样本，将该训练样本分别输入所述第一特征提取层，确定输出的低分辨率特征，以及输入所述超分辨率网络层，确定输出的高分辨率的第三图像以及分辨率转化特征；
将所述第三图像输入所述第二特征提取层，确定输出的高分辨率特征；
将确定出的低分辨率特征、分辨率转化特征以及高分辨率特征输入所述识别网络层，确定输出的识别结果；
根据通过所述第三图像以及该训练样本的第一标注确定出的第一损失，以及通过所述识别结果以及该训练样本的第二标注确定出的第二损失，确定最终损失，并以最小化所述最终损失为目标，调整所述待训练的识别模型中的模型参数，所述识别模型用于根据低分辨率图像确定识别结果。


2.如权利要求1所述的方法，其特征在于，所述识别模型还包含第三特征提取层；
将确定出的低分辨率特征、分辨率转化特征以及高分辨率特征输入所述识别网络层，具体包括：
将所述分辨率转化特征输入所述第三特征提取层，确定输出的转化深层特征；
将确定出的低分辨率特征、高分辨率特征以及转化深层特征输入所述识别网络层。


3.如权利要求1所述的方法，其特征在于，所述识别模型还包含特征融合层；
将确定出的低分辨率特征、分辨率转化特征以及高分辨率特征输入所述识别网络层，具体包括：
将确定出的低分辨率特征、分辨率转化特征以及高分辨率特征输入所述特征融合层，确定输出的融合特征；
将确定出的融合特征输入所述识别网络层。


4.如权利要求2所述的方法，其特征在于，所述识别模型还包含特征融合层；
将确定出的低分辨率特征、高分辨率特征以及转化深层特征输入所述识别网络层，具体包括：
将确定出的低分辨率特征、高分辨率特征以及转化深层特征输入所述特征融合层，确定输出的融合特征；
将确定出的融合特征输入所述识别网络层。


5.如权利要求1所述的方法，其特征在于，所述超分辨率网络层包含第四特征提取层、非线性映射层以及图像重构层；
将该训练样本输入所述超分辨率网络层，确定输出的高分辨率的第三图像以及分辨率转化特征，具体包括：
将该训练样本输入所述超分辨率网络层的第四特征提取层中，确定所述第四特征提取层输出的分辨率转化特征，所述分辨率转化特征用于重构生成高分辨率的图像。


6.一种图像处理方法，其特征在于，包括：

【专利技术属性】
技术研发人员：刘俊夫，闫鹏飞，
申请(专利权)人：北京三快在线科技有限公司，
类型：发明
国别省市：北京;11