图像处理方法及装置、电子设备和存储介质制造方法及图纸

本公开涉及一种图像处理方法及装置、电子设备和存储介质。所述方法包括：对第一图像和第二图像分别进行色块分割，得到所述第一图像对应的第一色块分割结果和所述第二图像对应的第二色块分割结果，其中，对于所述第一色块分割结果和所述第二色块分割结果中的任意一个色块，所述色块中的任意两个像素的像素值的差值的绝对值小于或等于第一预设阈值；对所述第一色块分割结果中的色块与所述第二色块分割结果中的色块进行匹配，得到所述第一色块分割结果与所述第二色块分割结果之间的色块匹配结果；根据所述色块匹配结果，确定所述第一图像与所述第二图像之间的第一光流。

【技术实现步骤摘要】
图像处理方法及装置、电子设备和存储介质
本公开涉及计算机视觉
，尤其涉及一种图像处理方法及装置、电子设备和存储介质。
技术介绍
光流(opticalflow)法是图像分析的重要方法，是利用图像序列中相邻帧之间的相关性来找到上一帧与当前帧之间存在的对应关系，从而计算出相邻帧之间目标对象的运动信息的一种方法。光流表达了图像在时域上的变化。由于光流包含了图像中的目标对象的运动信息，因此可以被观察者用来确定目标对象的运动情况。对光流的研究成为计算机视觉及有关研究领域中的一个重要部分。准确地确定图像序列中相邻帧之间的光流，在视频插帧、视频压缩等方面具有重要意义。
技术实现思路
本公开提供了一种图像处理技术方案。根据本公开的一方面，提供了一种图像处理方法，包括：对第一图像和第二图像分别进行色块分割，得到所述第一图像对应的第一色块分割结果和所述第二图像对应的第二色块分割结果，其中，对于所述第一色块分割结果和所述第二色块分割结果中的任意一个色块，所述色块中的任意两个像素的像素值的差值的绝对值小于或等于第一预设阈值；对所述第一色块分割结果中的色块与所述第二色块分割结果中的色块进行匹配，得到所述第一色块分割结果与所述第二色块分割结果之间的色块匹配结果；根据所述色块匹配结果，确定所述第一图像与所述第二图像之间的第一光流。通过对第一图像和第二图像分别进行色块分割，得到所述第一图像对应的第一色块分割结果和所述第二图像对应的第二色块分割结果，其中，对于所述第一色块分割结果和所述第二色块分割结果中的任意一个色块，所述色块中的任意两个像素的像素值的差值的绝对值小于或等于第一预设阈值，对所述第一色块分割结果中的色块与所述第二色块分割结果中的色块进行匹配，得到所述第一色块分割结果与所述第二色块分割结果之间的色块匹配结果，并根据所述色块匹配结果，确定所述第一图像与所述第二图像之间的第一光流，由此能够准确地确定所述第一图像与所述第二图像之间的光流。在一种可能的实现方式中，在所述确定所述第一图像与所述第二图像之间的第一光流之后，所述方法还包括：根据所述第一图像对应的第一图像特征和所述第二图像对应的第二图像特征，对所述第一图像与所述第二图像之间的第一光流进行优化，得到所述第一图像与所述第二图像之间的第二光流。在该实现方式中，通过在所述确定所述第一图像与所述第二图像之间的第一光流之后，根据所述第一图像对应的第一图像特征和所述第二图像对应的第二图像特征，对所述第一图像与所述第二图像之间的第一光流进行优化，得到所述第一图像与所述第二图像之间的第二光流，由此提高所确定的光流的准确性。对于非线性、运动幅度较大的应用场景，通过采用该实现方式，能够较大幅度地提高所确定的光流的准确性。在一种可能的实现方式中，所述第一图像和所述第二图像是目标视频中的相邻帧；在所述得到所述第一图像与所述第二图像之间的第二光流之后，所述方法还包括：根据所述第一图像对应的第三图像特征和所述第二图像对应的第四图像特征，以及所述第一图像与所述第二图像之间的第二光流，确定所述第一图像和所述第二图像的中间帧。在该实现方式中，通过在所述得到所述第一图像与所述第二图像之间的第二光流之后，根据所述第一图像对应的第三图像特征和所述第二图像对应的第四图像特征，以及所述第一图像与所述第二图像之间的第二光流，确定所述第一图像和所述第二图像的中间帧，由此基于较准确的第二光流，能够得到较高质量的中间帧，能够获得较平滑流畅的插帧效果。在一种可能的实现方式中，所述对第一图像和第二图像分别进行色块分割，得到所述第一图像对应的第一色块分割结果和所述第二图像对应的第二色块分割结果，包括：对第一图像和第二图像分别进行边缘提取，得到所述第一图像对应的第一边缘提取结果和所述第二图像对应的第二边缘提取结果；根据所述第一边缘提取结果，对所述第一图像进行色块分割，得到所述第一图像对应的第一色块分割结果；根据所述第二边缘提取结果，对所述第二图像进行色块分割，得到所述第二图像对应的第二色块分割结果。在该实现方式中，通过对第一图像和第二图像分别进行边缘提取，得到所述第一图像对应的第一边缘提取结果和所述第二图像对应的第二边缘提取结果，根据所述第一边缘提取结果，对所述第一图像进行色块分割，得到所述第一图像对应的第一色块分割结果，并根据所述第二边缘提取结果，对所述第二图像进行色块分割，得到所述第二图像对应的第二色块分割结果，由此能够利用所述第一图像中的边缘信息，较准确地确定所述第一图像的色块分割结果，能够利用所述第二图像中的边缘信息，较准确地确定所述第二图像的色块分割结果。在一种可能的实现方式中，所述对所述第一色块分割结果中的色块与所述第二色块分割结果中的色块进行匹配，得到所述第一色块分割结果与所述第二色块分割结果之间的色块匹配结果，包括：对所述第一图像和所述第二图像分别进行特征提取，得到所述第一图像对应的第五图像特征和所述第二图像对应的第六图像特征；根据所述第一色块分割结果和所述第五图像特征，得到所述第一图像对应的第一色块特征矩阵；根据所述第二色块分割结果和所述第六图像特征，得到所述第二图像对应的第二色块特征矩阵；根据所述第一色块特征矩阵和所述第二色块特征矩阵，对所述第一色块分割结果中的色块与所述第二色块分割结果中的色块进行匹配，得到所述第一色块分割结果与所述第二色块分割结果之间的色块匹配结果。根据该实现方式，能够基于所述第一图像和所述第二图像中的色块的视觉特征进行色块匹配，能够得到准确的色块匹配结果。在一种可能的实现方式中，所述根据所述第一色块分割结果和所述第五图像特征，得到所述第一图像对应的第一色块特征矩阵，包括：根据所述第一色块分割结果，对所述第五图像特征进行超像素池化，得到所述第一图像对应的第一色块特征矩阵；所述根据所述第二色块分割结果和所述第六图像特征，得到所述第二图像对应的第二色块特征矩阵，包括：根据所述第二色块分割结果，对所述第六图像特征进行超像素池化，得到所述第二图像对应的第二色块特征矩阵。通过根据所述第一色块分割结果，对所述第五图像特征进行超像素池化，得到所述第一图像对应的第一色块特征矩阵，并根据所述第二色块分割结果，对所述第六图像特征进行超像素池化，得到所述第二图像对应的第二色块特征矩阵，由此能够得到较高精度的色块特征矩阵。在一种可能的实现方式中，所述根据所述第一色块特征矩阵和所述第二色块特征矩阵，对所述第一色块分割结果中的色块与所述第二色块分割结果中的色块进行匹配，得到所述第一色块分割结果与所述第二色块分割结果之间的色块匹配结果，包括：根据所述第一色块特征矩阵和所述第二色块特征矩阵，确定所述第一色块分割结果中的第一色块的特征与所述第二色块分割结果中的第二色块的特征之间的相似度，其中，所述第一色块为所述第一色块分割结果中的任意一个色块，所述第二色块为所述第二色块分割结果中的任意一个色块；根据所述第一色块的特本文档来自技高网...

【技术保护点】
1.一种图像处理方法，其特征在于，包括：/n对第一图像和第二图像分别进行色块分割，得到所述第一图像对应的第一色块分割结果和所述第二图像对应的第二色块分割结果，其中，对于所述第一色块分割结果和所述第二色块分割结果中的任意一个色块，所述色块中的任意两个像素的像素值的差值的绝对值小于或等于第一预设阈值；/n对所述第一色块分割结果中的色块与所述第二色块分割结果中的色块进行匹配，得到所述第一色块分割结果与所述第二色块分割结果之间的色块匹配结果；/n根据所述色块匹配结果，确定所述第一图像与所述第二图像之间的第一光流。/n

【技术特征摘要】
1.一种图像处理方法，其特征在于，包括：
对第一图像和第二图像分别进行色块分割，得到所述第一图像对应的第一色块分割结果和所述第二图像对应的第二色块分割结果，其中，对于所述第一色块分割结果和所述第二色块分割结果中的任意一个色块，所述色块中的任意两个像素的像素值的差值的绝对值小于或等于第一预设阈值；
对所述第一色块分割结果中的色块与所述第二色块分割结果中的色块进行匹配，得到所述第一色块分割结果与所述第二色块分割结果之间的色块匹配结果；
根据所述色块匹配结果，确定所述第一图像与所述第二图像之间的第一光流。


2.根据权利要求1所述的方法，其特征在于，在所述确定所述第一图像与所述第二图像之间的第一光流之后，所述方法还包括：
根据所述第一图像对应的第一图像特征和所述第二图像对应的第二图像特征，对所述第一图像与所述第二图像之间的第一光流进行优化，得到所述第一图像与所述第二图像之间的第二光流。


3.根据权利要求2所述的方法，其特征在于，
所述第一图像和所述第二图像是目标视频中的相邻帧；
在所述得到所述第一图像与所述第二图像之间的第二光流之后，所述方法还包括：根据所述第一图像对应的第三图像特征和所述第二图像对应的第四图像特征，以及所述第一图像与所述第二图像之间的第二光流，确定所述第一图像和所述第二图像的中间帧。


4.根据权利要求1至3中任意一项所述的方法，其特征在于，所述对第一图像和第二图像分别进行色块分割，得到所述第一图像对应的第一色块分割结果和所述第二图像对应的第二色块分割结果，包括：
对第一图像和第二图像分别进行边缘提取，得到所述第一图像对应的第一边缘提取结果和所述第二图像对应的第二边缘提取结果；
根据所述第一边缘提取结果，对所述第一图像进行色块分割，得到所述第一图像对应的第一色块分割结果；
根据所述第二边缘提取结果，对所述第二图像进行色块分割，得到所述第二图像对应的第二色块分割结果。


5.根据权利要求1至4中任意一项所述的方法，其特征在于，所述对所述第一色块分割结果中的色块与所述第二色块分割结果中的色块进行匹配，得到所述第一色块分割结果与所述第二色块分割结果之间的色块匹配结果，包括：
对所述第一图像和所述第二图像分别进行特征提取，得到所述第一图像对应的第五图像特征和所述第二图像对应的第六图像特征；
根据所述第一色块分割结果和所述第五图像特征，得到所述第一图像对应的第一色块特征矩阵；
根据所述第二色块分割结果和所述第六图像特征，得到所述第二图像对应的第二色块特征矩阵；
根据所述第一色块特征矩阵和所述第二色块特征矩阵，对所述第一色块分割结果中的色块与所述第二色块分割结果中的色块进行匹配，得到所述第一色块分割结果与所述第二色块分割结果之间的色块匹配结果。


6.根据权利要求5所述的方法，其特征在于，
所述根据所述第一色块分割结果和所述第五图像特征，得到所述第一图像对应的第一色块特征矩阵，包括：根据所述第一色块分割结果，对所述第五图像特征进行超像素池化，得到所述第一图像对应的第一色块特征矩阵；
所述根据所述第二色块分割结果和所述第六图像特征，得到所述第二图像对应的第二色块特征矩阵，包括：根据所述第二色块分割结果，对所述第六图像特征进行超像素池化，得到所述第二图像对应的第二色块特征矩阵。


7.根据权利要求5或6所述的方法，其特征在于，所述根据所述第一色块特征矩阵和所述第二色块特征矩阵，对所述第一色块分割结果中的色块与所述第二色块分割结果中的色块进行匹配，得到所述第一色块分割结果与所述第二色块分割结果之间的色块匹配结果，包括：
根据所述第一色块特征矩阵和所述第二色块特征矩阵，确定所述第一色块分割结果中的第一色块的特征与所述第二色块分割结果中的第二色块的特征之间的相似度，其中，所述第一色块为所述第一色块分割结果中的任意一个色块，所述第二色块为所述第二色块分割结果中的任意一个色块；
根据所述第一色块的特征与所述第二色块的特征之间的相似度，确定所述第一色块与所述第二色块之间的匹配度；
根据所述第一色块分割结果中的色块与所述第二色块分割结果中的色块之间的匹配度，得到所述第一色块分割结果与所述第二色块分割结果之间的色块匹配结果。


8.根据权利要求7所述的方法，其特征在于，所述根据所述第一色块的特征与所述第二色块的特征之间的相似度，确定所述第一色块与所述第二色块之间的匹配度，包括：
根据所述第一色块与所述第二色块之间的尺寸差异和位置差异中的一项或两项，以及所述第一色块的特征与所述第二色块的特征之间的相似度，确定所述第一色块与所述第二色块之间的匹配度。


9.根据权利要求1至8中任意一项所述的方法，其特征在于，所述第一图像与所述第二图像之间的第一光流包括从所述第一图像至所述第二图像的第一光流和/或从所述第二图像至所述第一图像的第一光流。


10.根据权利要求2所述的方法，其特征在于，所述根据所述第一图像对应的第一图像特征和所述第二图像对应的第二图像特征，对所述第一图像与所述第二图像之间的第一光流进行优化，得到所述第一图像与所述第二图像...

【专利技术属性】
技术研发人员：李思尧，赵世雨，孙文秀，
申请(专利权)人：深圳市慧鲤科技有限公司，
类型：发明
国别省市：广东;44