一种图像处理方法、装置、电子设备及存储介质制造方法及图纸

本公开实施例公开了一种图像处理方法，该方法，包括：通过图像采集装置采集图像帧后，基于采集的第n图像帧和第n+1图像帧的像素值，得到与第n图像帧对应的第一光流估计值；基于第n图像帧和第一光流估计值，生成第n预测帧；根据第n预测帧的像素值及第n+1帧图像的像素值之间的差值，确定权重值；基于权重值校正第一光流估计值，得到校正后的第二光流估计值；基于采集到的图像帧和第二光流估计值，生成目标时域位置上的目标预测帧；在目标时域位置上插入目标预测帧。在本公开实施例中，相较于不利用权重值对第一光流估计值进行校正而直接利用未校正的第一光流估计值生成预测帧的方式，能够减少第一光流估计值的误差，使得生成的预测帧更加准确。

【技术实现步骤摘要】
一种图像处理方法、装置、电子设备及存储介质
本公开涉及终端
但不限于终端
，尤其涉及一种图像处理方法、装置、电子设备及存储介质。
技术介绍
光流是计算机视觉技术中用到的非常重要的参数，直接影响图像处理的效果。光流是指时变图像中模式运动对应的速度。光流广泛应用于计算机视觉中的各种应用场合，例如，在行为识别场景中，利用光流进行时间域特征的提取、在无人驾驶场景中通过光流对目标进行跟踪和定位、在超帧率应用中利用光流进行运动估计等。光流的准确度直接决定各种应用场景下图像处理的效果。
技术实现思路
本公开实施例公开了一种图像处理方法、装置、电子设备及存储介质。根据本公开实施例的第一方面，提供一种图像处理方法，所述方法，包括：通过图像采集装置采集图像帧后，基于采集的第n图像帧和第n+1图像帧的像素值，得到与所述第n图像帧对应的第一光流估计值；其中，所述n为自然数；基于所述第n图像帧和所述第一光流估计值，生成第n预测帧；根据所述第n预测帧的像素值及所述第n+1图像帧的像素值之间的差值，确定权重值；基于所述权重值校正所述第一光流估计值，得到校正后的第二光流估计值；基于采集到的图像帧和所述第二光流估计值，生成目标时域位置上的目标预测帧；在所述目标时域位置上插入所述目标预测帧。在一个实施例中，所述根据所述第n预测帧的像素值及所述第n+1图像帧的像素值之间的差值，确定权重值，包括：若所述差值大于设置阈值，则确定所述权重值小于权重阈值。r>在一个实施例中，所述基于所述权重值校正所述第一光流估计值，得到校正后的第二光流估计值，包括：基于所述权重值与所述第一光流估计值的乘积，得到校正后的所述第二光流估计值。在一个实施例中，所述方法，还包括：若校正后的所述第二光流估计值小于估计值阈值，将小于所述估计值阈值的所述第二光流估计值更新为预设估计值。在一个实施例中，所述方法，还包括：根据所述第n图像帧或所述第n+1图像帧中像素的第二光流估计值，生成第二光流估计值矩阵；所述若校正后的所述第二光流估计值小于估计值阈值，将小于所述估计值阈值的所述第二光流估计值更新为预设估计值，包括：若所述第二光流估计值矩阵中第N元素的第二光流估计值小于估计值阈值，将所述第N元素的第二光流估计值更新为：所述第N元素的相邻元素之间的平均值；所述N为自然数。在一个实施例中，所述方法，还包括：获取所述第二光流估计值的光流估计梯度值；将所述光流估计梯度值与所述第二光流估计值叠加，获得叠加后的第二光流估计值；将所述叠加后的第二光流估计值输入到全局能量泛函数；其中，所述全局能量泛函数包括数据项和平滑项；求解所述全局能量泛函数，得到更新后的所述第二光流估计值。根据本公开实施例的第二方面，提供一种图像处理装置，其特征在于，所述装置，包括计算模块、生成模块、确定模块、校正模块和插入模块；其中，所述计算模块，用于：通过图像采集装置采集图像帧后，基于采集的第n图像帧和第n+1图像帧的像素值，得到与所述第n图像帧对应的第一光流估计值；其中，所述n为自然数；所述生成模块，用于：基于所述第n图像帧和所述第一光流估计值，生成第n预测帧；所述确定模块，用于：根据所述第n预测帧的像素值及所述第n+1图像帧的像素值之间的差值，确定权重值；所述校正模块，用于：基于所述权重值校正所述第一光流估计值，得到校正后的第二光流估计值；所述生成模块，还用于：基于采集到的图像帧和所述第二光流估计值，生成目标时域位置上的目标预测帧；所述插入模块，用于在所述目标时域位置上插入所述目标预测帧。在一个实施例中，所述确定模块，还用于配置：所述差值与根据所述差值确定的所述权重值负相关。在一个实施例中，所述确定模块，还用于：若所述差值大于设置阈值，则确定所述权重值小于权重阈值。在一个实施例中，所述校正模块，还用于：基于所述权重值与所述第一光流估计值的乘积，得到校正后的所述第二光流估计值。在一个实施例中，所述装置还包括更新模块，其中，所述更新模块，还用于：若校正后的所述第二光流估计值小于估计值阈值，将小于所述估计值阈值的所述第二光流估计值更新为预设估计值。在一个实施例中，所述生成模块，还用于：根据所述第n图像帧或所述第n+1图像帧中像素的第二光流估计值，生成第二光流估计值矩阵；所述校正模块，还用于：若所述第二光流估计值矩阵中第N元素的第二光流估计值小于估计值阈值，将所述第N元素的第二光流估计值更新为：所述第N元素的相邻元素之间的平均值；所述N为自然数。在一个实施例中，所述装置还包括获取模块，其中，所述获取模块，用于获取所述第二光流估计值的光流估计梯度值；将所述光流估计梯度值与所述第二光流估计值叠加，获得叠加后的第二光流估计值；将所述叠加后的第二光流估计值输入到全局能量泛函数；其中，所述全局能量泛函数包括数据项和平滑项；求解所述全局能量泛函数，得到更新后的所述第二光流估计值。根据本公开实施例的第三方面，提供一种电子设备，所述电子设备，包括：处理器；用于存储所述处理器可执行指令的存储器；其中，所述处理器被配置为：用于运行所述可执行指令时，实现本公开任意实施例所述的方法。根据本公开实施例的第四方面，提供一种计算机存储介质，所述计算机存储介质存储有计算机可执行程序，所述可执行程序被处理器执行时实现本公开任意实施例所述的方法。本公开的实施例提供的技术方案可以包括以下有益效果：在本公开实施例中，通过图像采集装置采集图像帧后，基于采集的第n图像帧和第n+1图像帧的像素值，得到与所述第n图像帧对应的第一光流估计值，基于所述第n图像帧和所述第一光流估计值，生成第n预测帧。这里，由于第n预测帧是基于所述第n图像帧和所述第一光流估计值生成的，所述第n+1图像帧即为所述第n预测帧的原始图像帧。根据所述第n预测帧的像素值及所述第n+1图像帧的像素值之间的差值，确定权重值；基于所述权重值校正所述第一光流估计值，得到校正后的第二光流估计值；基于采集到的图像帧和所述校正后的第二光流估计值，生成目标时域位置上的目标预测帧；在所述目标时域位置上插入所述目标预测帧。如此，可以根据所述第n预测帧的像素值与原始图像帧即所述第n+1图像帧的像素值之间的差值确定权重值，并利用所述权重值校正所述第一光流估计值，获得校正后的第二光流估计值，就可以利用校正后的第二光流估计值生成预测帧，相较于不利用所述权重值对所述第一光流估计值进行校正而直接利用未校正的第一光流估计值生成预测帧的方式，能够减少所述第一光流估计值的误差，使得生成的预测帧更加准确。应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。附图说明此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发本文档来自技高网...

【技术保护点】
1.一种图像处理方法，其特征在于，所述方法，包括：/n通过图像采集装置采集图像帧后，基于采集的第n图像帧和第n+1图像帧的像素值，得到与所述第n图像帧对应的第一光流估计值；其中，所述n为自然数；/n基于所述第n图像帧和所述第一光流估计值，生成第n预测帧；/n根据所述第n预测帧的像素值及所述第n+1帧图像的像素值之间的差值，确定权重值；/n基于所述权重值校正所述第一光流估计值，得到校正后的第二光流估计值；/n基于采集到的图像帧和所述第二光流估计值，生成目标时域位置上的目标预测帧；/n在所述目标时域位置上插入所述目标预测帧。/n

【技术特征摘要】
1.一种图像处理方法，其特征在于，所述方法，包括：
通过图像采集装置采集图像帧后，基于采集的第n图像帧和第n+1图像帧的像素值，得到与所述第n图像帧对应的第一光流估计值；其中，所述n为自然数；
基于所述第n图像帧和所述第一光流估计值，生成第n预测帧；
根据所述第n预测帧的像素值及所述第n+1帧图像的像素值之间的差值，确定权重值；
基于所述权重值校正所述第一光流估计值，得到校正后的第二光流估计值；
基于采集到的图像帧和所述第二光流估计值，生成目标时域位置上的目标预测帧；
在所述目标时域位置上插入所述目标预测帧。


2.根据权利要求1所述的方法，其特征在于，所述根据所述第n预测帧的像素值及所述第n+1图像帧的像素值之间的差值，确定权重值，包括：
若所述差值大于设置阈值，则确定所述权重值小于权重阈值。


3.根据权利要求1所述的方法，其特征在于，所述基于所述权重值校正所述第一光流估计值，得到校正后的第二光流估计值，包括：
基于所述权重值与所述第一光流估计值的乘积，得到校正后的所述第二光流估计值。


4.根据权利要求1所述的方法，其特征在于，所述方法，还包括：
若校正后的所述第二光流估计值小于估计值阈值，将小于所述估计值阈值的所述第二光流估计值更新为预设估计值。


5.根据权利要求4所述的方法，其特征在于，所述方法，还包括：
根据所述第n图像帧或所述第n+1图像帧中像素的第二光流估计值，生成第二光流估计值矩阵；
所述若校正后的所述第二光流估计值小于估计值阈值，将小于所述估计值阈值的所述第二光流估计值更新为预设估计值，包括：
若所述第二光流估计值矩阵中第N元素的第二光流估计值小于估计值阈值，将所述第N元素的第二光流估计值更新为：所述第N元素的相邻元素之间的平均值；所述N为自然数。


6.根据权利要求1所述的方法，其特征在于，所述方法，还包括：
获取所述第二光流估计值的光流估计梯度值；
将所述光流估计梯度值与所述第二光流估计值叠加，获得叠加后的第二光流估计值；
将所述叠加后的第二光流估计值输入到全局能量泛函数；其中，所述全局能量泛函数包括数据项和平滑项；
求解所述全局能量泛函数，得到更新后的所述第二光流估计值。


7.一种图像处理装置，其特征在于，所述装置，包括计算模块、生成模块、确定模块、校正模块和插入模块；其中，
所述计算模块，用于：通过图像采集装置采集图像帧后，基于采集的第n图像帧和第n...

【专利技术属性】
技术研发人员：梁增龑，
申请(专利权)人：北京小米松果电子有限公司，
类型：发明
国别省市：北京;11