【技术实现步骤摘要】
本申请涉及图像处理，尤其涉及一种图像处理方法、装置及设备。
技术介绍
1、在一些重要场景下，视频监控起着至关重要的作用，尤其是针对一些金融机构等，为了保证金融机构的安全，通常采用高清监控设备采集视频，而高清监控设备输出的视频文件的体积较大，因此，为了方便传输以及减少占用的存储空间，通常对视频文件进行压缩后传输或存储。但在视频文件的压缩过程中，视频文件中的图像信息会出现失真情况，从而导致压缩后的视频文件的图像质量较低，因此，如何提高压缩后的视频文件的图像质量成为了当前亟需解决的技术问题。
技术实现思路
1、本申请提供一种图像处理方法、装置及设备，用于提高压缩图像的质量。
2、第一方面，本申请实施例提供一种图像处理方法，包括：基于预设的处理策略，从压缩视频片段中确定目标帧和与所述目标帧相邻的参考帧；根据特征提取网络以及所述目标帧和所述参考帧，获得第一特征图，所述第一特征图包括空间信息和时序信息，所述空间信息指示所述目标帧和所述参考帧中的对象之间的位置关系，所述时序信息指示所述目标帧与所述参考帧之间的时间关系；根据训练后的动态可变形卷积网络以及所述第一特征图，计算所述训练后的动态可变形卷积网络相对于所述第一特征图的偏移量，获得第二特征图，所述训练后的动态可变形卷积网络是使用多个第一样本特征图对初始动态可变形卷积网络进行迭代训练得到的，一个第一样本特征图是基于一个样本视频片段得到的，所述第二特征图为相对于所述第一特征图对齐后的特征图；根据所述第二特征图和所述目标帧之间的损失信息
3、在本申请实施例中，在压缩视频片段中选取目标帧和与目标帧相邻的参考帧，输入特征提取网络中获得包括空间信息和时序信息的第一特征图，进而后续可基于空间信息和时序信息，通过动态可变形卷积网络，确定相对于第一特征图的偏移量，即可基于该偏移量，准确地确定出偏移后对应的采样位置，进而使动态可变形网络确定出的对齐后的第二特征图更加准确，通过计算第二特征图与目标帧之间的损失信息，即可基于该损失信息对目标帧进行图像特征修复，从而可获得增强后的目标帧，即提高了图像质量。
4、在一种可能的实施方式中，根据训练后的动态可变形卷积网络以及所述第一特征图，计算所述训练后的动态可变形卷积网络相对于所述第一特征图的偏移量，获得第二特征图，包括：将所述第一特征图输入所述训练后的动态可变形卷积网络，获取所述偏移量，以及卷积核权重值，所述卷积核权重值用于指示所述第一特征图中的采样点的重要程度；采用调整后的网格对所述第一特征图进行采样，获得多个子特征图中的每个子特征图的采样值，所述调整后的网格是根据所述偏移量对预设网格进行调整得到的；根据所述卷积核权重值、所述每个子特征图的采样值以及所述偏移量，计算所述每个子特征图的特征向量；根据所述多个子特征图的特征向量，获得所述第二特征图。
5、在一种可能的实施方式中，根据所述卷积核权重值、所述每个子特征图的采样值以及所述偏移量，计算所述每个子特征图在所述第一特征图中的实际位置，包括：根据所述第一特征图，获取以所述每个子特征图为中心的预设范围内的参考子特征图的采样值；利用所述卷积核权重值对所述参考子特征图的采样值以及所述每个子特征图的采样值进行加权求和，获取加权求和结果；根据所述加权求和结果以及所述偏移量，计算所述每个子特征图的特征向量。
6、在一种可能的实施方式中，所述特征提取网络包括第一特征提取网络和第二特征提取网络；根据特征提取网络以及所述目标帧和所述参考帧，获得第一特征图，包括：对所述目标帧和所述参考帧进行预处理，将所述预处理后的目标帧和所述参考帧作为输入图像，输入所述第一特征提取网络，通过所述第一特征提取网络提取所述输入图像的空间信息，获得所述第一特征提取网络输出的包括空间信息的第三特征图；将所述第三特征图输入所述第二特征提取网络中，通过所述第二特征提取网络提取所述第三特征图中的所述时序信息，获得所述第二特征提取网络输出的所述第一特征图。
7、在一种可能的实施方式中，预设的处理策略指示将与所述目标帧所在时刻间隔预设时长内的视频帧确定为参考帧。
8、第二方面，本申请实施例提供一种图像处理装置，包括：确定模块，用于基于预设的处理策略，从压缩视频片段中确定目标帧和与所述目标帧相邻的参考帧；特征提取模块，用于根据特征提取网络以及所述目标帧和所述参考帧，获得第一特征图，所述第一特征图包括空间信息和时序信息，所述空间信息指示所述目标帧和所述参考帧中的对象之间的位置关系，所述时序信息指示所述目标帧与所述参考帧之间的时间关系；图像对齐模块，用于根据训练后的动态可变形卷积网络以及所述第一特征图，计算所述训练后的动态可变形卷积网络相对于所述第一特征图的偏移量，获得第二特征图，所述训练后的动态可变形卷积网络是使用多个第一样本特征图对初始动态可变形卷积网络进行迭代训练得到的，一个第一样本特征图是基于一个样本视频片段得到的，所述第二特征图为相对于所述第一特征图对齐后的特征图；增强模块，用于根据所述第二特征图和所述目标帧之间的损失信息，获得增强后的视频片段。
9、在一种可能的实施方式中，所述图像对齐模块，具体用于：将所述第一特征图输入所述训练后的动态可变形卷积网络，获取所述偏移量，以及卷积核权重值，所述卷积核权重值用于指示所述第一特征图中的采样点的重要程度；采用调整后的网格对所述第一特征图进行采样，获得多个子特征图中的每个子特征图的采样值，所述调整后的网格是根据所述偏移量对预设网格进行调整得到的；根据所述卷积核权重值、所述每个子特征图的采样值以及所述偏移量，计算所述每个子特征图的特征向量；根据所述多个子特征图的特征向量，获得所述第二特征图。
10、在一种可能的实施方式中，所述图像对齐模块，具体用于：根据所述第一特征图，获取以所述每个子特征图为中心的预设范围内的参考子特征图的采样值；利用所述卷积核权重值对所述参考子特征图的采样值以及所述每个子特征图的采样值进行加权求和，获取加权求和结果；根据所述加权求和结果以及所述偏移量，计算所述每个子特征图的特征向量。
11、在一种可能的实施方式中，所述特征提取网络包括第一特征提取网络和第二特征提取网络；所述特征提取模块，具体用于：对所述目标帧和所述参考帧进行预处理，将所述预处理后的目标帧和所述参考帧作为输入图像，输入所述第一特征提取网络，通过所述第一特征提取网络提取所述输入图像的空间信息，获得所述第一特征提取网络输出的包括空间信息的第三特征图；将所述第三特征图输入所述第二特征提取网络中，通过所述第二特征提取网络提取所述第三特征图中的所述时序信息，获得所述第二特征提取网络输出的所述第一特征图。
12、在一种可能的实施方式中，预设的处理策略指示将与所述目标帧所在时刻间隔预设时长内的视频帧确定为参考帧。
13、第三方面，本申请实施例提供一种图像处理设备，包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的本文档来自技高网...
【技术保护点】
1.一种图像处理方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，根据训练后的动态可变形卷积网络以及所述第一特征图，计算所述训练后的动态可变形卷积网络相对于所述第一特征图的偏移量，获得第二特征图，包括：
3.根据权利要求2所述的方法，其特征在于，根据所述卷积核权重值、所述每个子特征图的采样值以及所述偏移量，计算所述每个子特征图的特征向量，包括：
4.根据权利要求1所述的方法，其特征在于，所述特征提取网络包括第一特征提取网络和第二特征提取网络；根据特征提取网络以及所述目标帧和所述参考帧，获得第一特征图，包括：
5.根据权利要求1-4任一项所述的方法，其特征在于，预设的处理策略指示将与所述目标帧所在时刻间隔预设时长内的视频帧确定为参考帧。
6.一种图像处理装置，其特征在于，包括：
7.根据权利要求6所述的装置，其特征在于，所述图像对齐模块，具体用于：
8.根据权利要求7所述的装置，其特征在于，所述图像对齐模块，具体用于：
9.一种图像处理设备，其特征在于，包括：
<...【技术特征摘要】
1.一种图像处理方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，根据训练后的动态可变形卷积网络以及所述第一特征图，计算所述训练后的动态可变形卷积网络相对于所述第一特征图的偏移量，获得第二特征图，包括：
3.根据权利要求2所述的方法，其特征在于，根据所述卷积核权重值、所述每个子特征图的采样值以及所述偏移量，计算所述每个子特征图的特征向量，包括：
4.根据权利要求1所述的方法，其特征在于，所述特征提取网络包括第一特征提取网络和第二特征提取网络；根据特征提取网络以及所述目标帧和所述参考帧，获得第一特征图，包括：
5.根据权利要求1-4任一项所述的方法，其特征在于，预设的处理策略指示将与...
【专利技术属性】
技术研发人员：苗佳雨，朱康，周云龙，
申请(专利权)人：中国建设银行股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。