一种图像处理方法、装置、电子设备及存储介质制造方法及图纸

本申请提供一种图像处理方法、装置、电子设备及存储介质，该方法包括：获得待处理图像；对待处理图像进行特征提取，获得图像特征；使用超分辨率模型提取图像特征中的第一特征，并使用目标检测网络模型提取图像特征中的第二特征；对第一特征和第二特征进行语义和细节层面的融合，获得融合特征，并对融合特征进行计算机视觉处理。在上述的实现过程中，通过对图像特征提取出的超分辨率特征和目标检测特征进行融合，再根据获得的融合特征进行计算机视觉处理，从而充分地利用超分辨率特征和目标检测特征在语义信息和细节信息上的互补性进行超分辨率重建或者目标检测等计算机视觉相关的任务，有效提高对图像进行计算机视觉处理的效果。

【技术实现步骤摘要】
一种图像处理方法、装置、电子设备及存储介质
本申请涉及计算机视觉、目标检测和超分辨率的
，具体而言，涉及一种图像处理方法、装置、电子设备及存储介质。
技术介绍
计算机视觉（Computervision）是一门研究如何使机器“看”的科学，亦即用摄影机和计算机代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图像处理，用计算机处理成为更适合人眼观察或传送给仪器检测的图像；其中，计算机视觉的相关任务包括：超分辨率重建和目标检测等。在具体的实践过程中发现，在图像采集过程往往会受到实际环境的各种限制，这些限制例如：使用普通分辨率的摄像头获取到的图像分辨率较低，或者，目标对象在采集图像中尺寸较小。目前对存在限制的图像进行计算机视觉处理后的效果不佳，具体例如：对分辨率较低的图像进行超分辨率重建，获得的图像容易出现一些细节纹理错误；又例如：对目标对象尺寸较小的图像进行目标检测处理时，很容易出现识别失败或者识别错误的情况。
技术实现思路
本申请实施例的目的在于提供一种图像处理方法、装置、电子设备及存储介质，用于改善对存在限制的图像进行计算机视觉处理后的效果不佳的问题。本申请实施例提供了一种图像处理方法，包括：获得待处理图像；对待处理图像进行底层特征提取，获得图像底层特征；使用超分辨率模型提取图像特征中的第一特征，并使用目标检测网络模型提取图像特征中的第二特征；对第一特征和第二特征进行语义和细节层面的融合，获得融合特征，并对融合特征进行计算机视觉处理。在上述的实现过程中，通过对任务导向图像特征提取出的超分辨率特征和目标检测特征进行融合，再根据获得的融合特征进行计算机视觉处理，从而充分地利用超分辨率特征和目标检测特征在语义信息和细节信息层面的互补性进行超分辨率重建或者目标检测等计算机视觉相关的任务，有效提高对图像进行计算机视觉处理的效果。可选地，在本申请实施例中，计算机视觉处理包括：超分辨率重建；对第一特征和第二特征进行融合，获得融合特征，并对融合特征进行计算机视觉处理，包括：对第二特征进行上采样，获得上采样特征；使用第一卷积模块对上采样特征进行特征变换，获得语义特征；将第一特征和语义特征进行融合，获得融合特征；对融合特征进行超分辨率重建，获得超分辨率图像。在上述的实现过程中，通过将超分辨率任务相关的第一特征和上采样特征变换后获得的语义特征进行融合，获得融合特征；再对融合特征进行超分辨率重建，获得超分辨率图像；从而有效地利用了第一特征中的细节信息和上采样特征变换后的语义特征中的语义信息两种信息来完成超分辨率重建的任务，提高了对待处理图像进行超分辨率重建的准确率。可选地，在本申请实施例中，将第一特征和语义特征进行融合，包括：将第一特征和语义特征进行通道注意力融合，或者，将第一特征和语义特征进行空间注意力融合。可选地，在本申请实施例中，在获得超分辨率图像之后，还包括：对超分辨率图像进行目标检测处理，获得目标检测结果。在上述的实现过程中，通过先将超分辨率任务相关的第一特征和上采样特征变换后获得的语义特征进行融合，获得融合特征；再对融合特征进行超分辨率重建，获得超分辨率图；最后对超分辨率图像进行目标检测处理，获得目标检测结果；有效地利用融合的语义特征提高了超分辨率图像的清晰度，从而提高了目标检测的准确率。可选地，在本申请实施例中，计算机视觉处理包括：目标检测处理；对第一特征和第二特征进行语义和细节层面的融合，获得融合特征，并对融合特征进行计算机视觉处理，包括：使用第二卷积模块对第一特征进行特征变换，获得细节特征；将细节特征和第二特征进行融合，获得融合特征；对融合特征进行目标检测处理，获得目标检测结果。在上述的实现过程中，通过将对第一特征进行特征变换获得的细节特征和目标检测任务相关的第二特征进行融合，获得融合特征；然后对融合特征进行目标检测处理，获得目标检测结果；从而有效地利用了融合的细节特征来进行目标检测处理，提高了目标检测的准确率。可选地，在本申请实施例中，将细节特征和第二特征进行融合，包括：将细节特征和第二特征进行通道融合，或者，将细节特征和第二特征进行空间注意力融合。可选地，在本申请实施例中，目标检测网络模型包括：边框回归分支和分类分支；对融合特征进行目标检测处理，包括：使用边框回归分支预测融合特征中所有的候选边框，候选边框表征预测出待处理图像中包含目标对象的区域；使用分类分支对候选边框进行分类，获得候选边框对应的目标对象的目标类别和目标类别对应的概率。本申请实施例还提供了一种图像处理装置，包括：处理图像获得模块，用于获得待处理图像；图像底层特征获得模块，用于对待处理图像进行底层特征提取，获得图像底层特征；图像特征提取模块，用于使用超分辨率模型提取图像特征中的第一特征，并使用目标检测网络模型提取图像特征中的第二特征；融合视觉处理模块，用于对第一特征和第二特征进行语义和细节层面的融合，获得融合特征，并对融合特征进行计算机视觉处理。在上述的实现过程中，通过对图像特征提取出的超分辨率特征和目标检测特征进行融合，再根据获得的融合特征进行计算机视觉处理，从而充分地利用超分辨率特征和目标检测特征在语义信息和细节信息上的互补性进行超分辨率重建或者目标检测等计算机视觉相关的任务，有效提高对图像进行计算机视觉处理的效果。可选地，在本申请实施例中，计算机视觉处理包括：超分辨率重建；融合视觉处理模块，包括：采样特征获得模块，用于对第二特征进行上采样，获得上采样特征；语义特征获得模块，用于使用第一卷积模块对上采样特征进行特征变换，获得语义特征；第一特征融合模块，用于将第一特征和语义特征进行融合，获得融合特征；超分辨率重建模块，用于对融合特征进行超分辨率重建，获得超分辨率图像。可选地，在本申请实施例中，第一特征融合模块，包括：语义特征融合模块，用于将第一特征和语义特征进行通道注意力融合，或者，将第一特征和语义特征进行空间注意力融合。可选地，在本申请实施例中，融合视觉处理模块，还包括：第一目标检测模块，用于对超分辨率图像进行目标检测处理，获得目标检测结果。可选地，在本申请实施例中，计算机视觉处理包括：目标检测处理；融合视觉处理模块，包括：细节特征获得模块，用于使用第二卷积模块对第一特征进行特征变换，获得细节特征；第二特征融合模块，用于将细节特征和第二特征进行融合，获得融合特征；第二目标检测模块，用于对融合特征进行目标检测处理，获得目标检测结果。可选地，在本申请实施例中，第二特征融合模块，包括：细节特征融合模块，用于将细节特征和第二特征进行通道融合，或者，将细节特征和第二特征进行空间注意力融合。可选地，在本申请实施例中，目标检测网络模型包括：边框回归分支和分类分支；第二目标检测模块，包括：候选边框预测模块，用于使用边框回归分支预测融合特征中所有的候选边框，候选边框表征预测出待处理图像中包含目标对象的区域；候选边框分类模块，用于使用分类分支对候选边框进行分类，获得候选边框对应的目标对象的目标类别和目标类别对应的概率。本申请实施例还提供了一种电子设本文档来自技高网...

【技术保护点】
1.一种图像处理方法，其特征在于，包括：/n获得待处理图像；/n对所述待处理图像进行特征提取，获得图像特征；/n使用超分辨率模型提取所述图像特征中的第一特征，并使用目标检测网络模型提取所述图像特征中的第二特征；/n对所述第一特征和所述第二特征进行融合，获得融合特征，并对所述融合特征进行计算机视觉处理。/n

【技术特征摘要】
1.一种图像处理方法，其特征在于，包括：
获得待处理图像；
对所述待处理图像进行特征提取，获得图像特征；
使用超分辨率模型提取所述图像特征中的第一特征，并使用目标检测网络模型提取所述图像特征中的第二特征；
对所述第一特征和所述第二特征进行融合，获得融合特征，并对所述融合特征进行计算机视觉处理。


2.根据权利要求1所述的方法，其特征在于，所述对所述第一特征和所述第二特征进行融合，获得融合特征，并对所述融合特征进行计算机视觉处理，包括：
对所述第二特征进行上采样，获得上采样特征；
使用第一卷积模块对所述上采样特征进行特征变换，获得语义特征；
将所述第一特征和所述语义特征进行融合，获得所述融合特征；
对所述融合特征进行超分辨率重建，获得超分辨率图像。


3.根据权利要求2所述的方法，其特征在于，所述将所述第一特征和所述语义特征进行融合，包括：
将所述第一特征和所述语义特征进行通道融合，或者，将所述第一特征和所述语义特征进行空间注意力融合。


4.根据权利要求2所述的方法，其特征在于，在所述获得超分辨率图像之后，还包括：
对所述超分辨率图像进行目标检测处理，获得目标检测结果。


5.根据权利要求1所述的方法，其特征在于，所述对所述第一特征和所述第二特征进行融合，获得融合特征，并对所述融合特征进行计算机视觉处理，包括：
使用第二卷积模块对所述第一特征进行特征变换，获得细节特征；
将所述细节特征和所述第二特征进行融合，获得所述融合特征；
对所述融合特...

【专利技术属性】
技术研发人员：王树，罗振波，吉翔，
申请(专利权)人：成都睿沿科技有限公司，
类型：发明
国别省市：四川;51