【技术实现步骤摘要】
【国外来华专利技术】一种图像处理方法、装置、图像拍摄和处理系统及载体本专利文件披露的内容包含受版权保护的材料。该版权为版权所有人所有。版权所有人不反对任何人复制专利与商标局的官方记录和档案中所存在的该专利文件或该专利披露。
本专利技术实施例涉及图像处理
，尤其涉及一种图像处理方法、装置、图像拍摄和处理系统及载体。
技术介绍
延时拍摄是指以一种将时间压缩的拍摄技术，在拍摄得到一组照片或者视频后，可后期通过照片串联或者视频抽帧将较长时间的过程压缩在较短时间内，并以视频的方式播出。随着无人机航拍技术的发展，越来越多的用户使用无人机实施延时拍摄。但是在无人机进行延时拍摄时，鸟类等昆虫很容易被无人机吸引，例如无人机在进行航拍时，常常有鸟类会伴随在无人机四周飞行，导致无人机的拍摄镜头中频繁出现鸟类或者鸟类的部分身体。除此之外，在使用手持云台等进行延时拍摄时也会出现类型情况，例如，在人流密度较大的景区，常常会有游客进入到延迟拍摄的视场范围。基于延时拍摄的特性，上述过程中，鸟类身体、游人的影像会突兀的出现在影像中，严重影响延时拍摄得到的视
【技术保护点】
1.一种图像处理方法，其特征在于，包括：/n获取延时拍摄的图像帧序列；/n在所述图像帧序列中，确定具有目标物体的目标帧；/n抠除所述目标帧中存在目标物体的图像区域；/n填充抠除所述目标物体后的图像区域。/n
【技术特征摘要】
【国外来华专利技术】1.一种图像处理方法，其特征在于，包括：
获取延时拍摄的图像帧序列；
在所述图像帧序列中，确定具有目标物体的目标帧；
抠除所述目标帧中存在目标物体的图像区域；
填充抠除所述目标物体后的图像区域。
2.根据权利要求1所述的方法，其特征在于，所述获取延时拍摄的图像帧序列，包括：
获取拍摄的至少一帧初始图像；
将所述至少一帧初始图像基于时间序列进行排序，得到初始图像序列；
将所述初始图像序列进行压缩，得到图像帧序列。
3.根据权利要求1所述的方法，其特征在于，所述在所述图像帧序列中，确定具有目标物体的目标帧，包括：
基于神经网络模型对所述图像帧序列进行处理；
根据所述神经网络模型对所述图像帧序列进行处理的输出结果确定所述目标帧。
4.根据权利要求3所述的方法，其特征在于，所述基于神经网络模型对所述图像帧序列进行处理，包括：
将所述图像帧序列输入所述神经网络模型，所述图像帧序列包括多张图像；
针对任一图像，调用所述神经网络模型对所述图像进行特征提取，得到特提取结果；
基于所述特征提取结果，确定所述图像帧序列中各图像包括物体的类别。
5.根据权利要求4所述的方法，其特征在于，所述基于所述特征提取结果，确定所述图像帧序列中各图像包括物体的类别，包括：
调用所述神经网络模型对所述特征提取结果进行特征汇总，得到特征汇总结果；
根据所述特征汇总结果，确定所述图像帧序列中各图像包括物体的类别。
6.根据权利要求3-5任一项所述的方法，其特征在于，所述根据所述神经网络模型对所述图像帧序列进行处理的输出结果确定所述目标帧，包括：
根据所述神经网络模型对所述图像帧序列进行处理的输出结果，判断所述图像帧序列中各图像中是否包含目标物体；
将包含所述目标物体的图像帧确定为目标帧。
7.根据权利要求1所述的方法，其特征在于，所述在所述图像帧序列中，确定具有目标物体的目标帧，包括：
针对所述图像帧序列包括多帧图像的任一帧图像，对所述图像进行区域划分，得到多个区域图像；
获取各个所述区域图像的特征参数，并基于所述特征参数，确定所述图像帧序列中具有目标物体的目标帧。
8.根据权利要求7所述的方法，其特征在于，所述基于所述特征参数，确定所述图像帧序列中具有目标物体的目标帧，包括：
基于所述特征参数，确定所述图像帧序列中的任一帧图像包括的物体类别；
根据所述物体类别，确定所述图像帧序列中具有目标物体的目标帧。
9.根据权利要求1所述的方法，其特征在于，所述抠除所述目标帧中存在目标物体的图像区域，包括：
确定所述目标帧中存在目标物体的图像区域；
基于所述图像区域，生成和所述图像区域对应的局部掩膜图形；
根据所述局部掩膜图形和所述目标帧，对所述目标帧中存在目标物体的图像区域进行抠除。
10.根据权利要求9所述的方法，其特征在于，所述填充抠除所述目标物体后的图像区域，包括：
确定所述目标帧中存在目标物体的图像区域的周围图像域，所述周围图像域中的像素点和所述存在目标物体的图像区域的像素点之间的距离小于或等于预设距离阈值；
基于所述周围图像域对扣除所述目标物体后的图像区域进行填充。
11.根据权利要求10所述的方法，其特征在于，所述基于所述周围图像域对扣除所述目标物体后的图像区域进行填充，包括：
从所述图像帧序列中确定出参考帧，所述参考帧为所述目标帧的前M帧中的任一帧，其中，M为大于1的整数；
确定所述参考帧的曝光强度；
采用白平衡算法，基于所述参考帧的曝光强度以及所述周围图像域对扣除所述目标物体后的图像区域进行填充。
12.根据权利要求1所述的方法，其特征在于，所述填充抠除所述目标物体后的图像区域，包括：
获取所述目标帧包括的第一单元图像，所述第一单元图像为所述目标帧中存在目标物体的图像区域；
将抠除存在目标物体的图像区域后的目标帧和所述第一单元图像输入卷积神经网络模型，并获取所述卷积神经网络模型的输出图像，所述输出图像为进行填充后的目标帧。
13.根据权利要求1所述的方法，其特征在于，所述填充抠除所述目标物体后的图像区域，包括：
获取所述目标帧包括的第一单元图像，以及所述目标帧的前一帧图像和后一帧图像，所述第一单元图像为所述目标帧中存在目标物体的图像区域；
将所述前一帧图像，所述后一帧图像，所述抠除存在目标物体的图像区域后的目标帧以及所述第一单元图像输入卷积神经网络模型，并获取所述卷积神经网络模型的输出图像，所述输出图像为进行填充后的目标帧。
14.根据权利要求1所述的方法，其特征在于，所述填充抠除所述目标物体后的图像区域，包括：
获取所述目标帧的前一帧图像和后一帧图像；
基于所述前一帧图像和所述后一帧图像，对所述抠除所述目标物体后的图像区域进行填充，得到所述填充后的目标帧。
15.根据权利要求14所述的方法，其特征在于，所述基于所述前一帧图像和所述后一帧图像，对所述抠除所述目标物体后的图像区域进行填充，得到填充后的目标帧，包括：
获取所述前一帧图像中的第二单元图像，所述第二单元图像为所述前一帧图像中和所述目标帧中存在目标物体的图像区域对应相同位置的图像；
获取所述后一帧图像中的第三单元图像，所述第三单元图像为所述后一帧图像中和所述目标帧中存在目标物体的图像区域对应相同位置的图像；
获取所述第二单元图像所包含的各个像素点的第一数值，并获取所述第三单元图像所包含的各个像素点的第二数值；
针对任一像素点，计算所述第一数值和所述第二数值的平均值；
基于所述平均值对所述抠除存在目标物体的图像区域的目标帧进行像素填充，得到所述填充后的目标帧。
16.根据权利要求1所述的方法，其特征在于，所述目标物体是在延时拍摄过程中，所述目标帧包括的异常物体。
17.根据权利要求16所述的方法，其特征在于，所述确定具有目标物体的目标帧，包括：
确定所述目标帧的相邻帧；
将所述目标帧和所述相邻帧进行对比，从所述目标帧中确定出与所述相邻帧在同一位置对应不同像素值的像素点组成的目标图像，所述目标图像对应的物体为所述目标物体；
将所述图像帧序列中包括所述目标物体的帧作为目标帧。
18.根据权利要求16所述的方法，其特征在于，所述目标物体为移动物体的全部或者局部。
19.一种图像处理装置，其特征在于，包括存储器、处理器；
所述存储器用于存储程序代码；
所述处理器，调用所述程序代码，当程序代码被执行时，用于执行以下操作：
获取延时拍摄的图像帧序列；
在所述图像帧序列中，确定具有目标物体的目标帧；
抠除所述目标帧中存在目标物体的图像区域；
填充抠除所述目标物体后的图像区域。
20.根据权利要求19所述的装置，其特征在于，所述处理器获取延时拍摄的图像帧序列时，执行如下操作：
获取拍摄的至少一帧初始图像；
将所述至少一帧初始图像基于时间序列进行排序，得到初始图像序列；
将所述初始图像序列进行压缩，得到图像帧序列。
21.根据权利要求19所述的装置，其特征在于，所述处理器在所述图像帧序列中，确定具有目标物体的目标帧时，执行如下操作：
基于神经网络模型对所述图像帧序列进行处理；
根据所述神经网络模型对所述图像帧序列进行处理的输出结果确定所述目标帧。
22.根据权利要求21所述的装置，其特征在于，所述处理器基于神经网络模型对所述图像帧序列进行处理时，执行如下操作：
将所述图像帧序列输入所述神经网络模型，所述图像帧序列包括多张图像；
针对任一图像，调用所述神经网络模型对所述图像进行特征提取，得到特提取结果；
基于所述特征提取结果，确定所述图像帧序列中各图像包括物体的类别。
23.根据权利要求22所述的装置，其特征在于，所述处理器基于所述特征提取结果，确定所述图像帧序列中各图像包括物体的类别时，执行如下操作：
调用所述神经网络模型对所述特征提取结果进行特征汇总，得到特征汇总结果；
根据所述特征汇总结果，确定所述图像帧序列中各图像包括物体的类别。
24.根据权利要求21-23任一项所述的装置，其特征在于，所述处理器根据所述神经网络模型对所述图像帧序列进行处理的输出结果确定所述目标帧时，执行如下操作：
根据所述神经网络模型对所述图像帧序列进行处理的输出结果，判断所述图像帧序列中各图像中是否包含目标物体；
将包含所述目标物体的图像帧确定为目标帧。
25.根据权利要求19所述的装置，其特征在于，所述处理器在所述图像帧序列中，确定具有目标物体的目标帧时，执行如下操作：
针对所述图像帧序列包括多帧图像的任一帧图像，对所述图像进行区域划分，得到多个区域图像；
获取各个所述区域图像的特征参数，并基于所述特征参数，确定所述图像帧序列中具有目标物体的目标帧。
26.根据权利要求25所述的装置，其特征在于，所述处理器基于所述特征参数，确定所述图像帧序列中具有目标物体的目标帧时，执行如下操作：
基于所述特征参数，确定所述图像帧序列中的任一帧图像包括的物体类别；
根据所述物体类别，确定所述图像帧序列中具有目标物体的目标帧。
27.根据权利要求19所述的装置，其特征在于，所述处理器抠除所述目标帧中存在目标物体的图像区域时，执行如下操作：
确定所述目标帧中存在目标物体的图像区域；
基于所述图像区域，生成和所述图像区域对应的局部掩膜图形；
根据所述局部掩膜图形和所述目标帧，对所述目标帧中存在目标物体的图像区域进行抠除。
28.根据权利要求27所述的装置，其特征在于，所述处理器填充抠除所述目标物体后的图像区域时，执行如下操作：
确定所述目标帧中存在目标物体的图像区域的周围图像域，所述周围图像域中的像素点和所述存在目标物体的图像区域的像素点之间的距离小于或等于预设距离阈值；
基于所述周围图像域对扣除所述目标物体后的图像区域进行填充。
29.根据权利要求28所述的装置，其特征在于，所述处理器基于所述周围图像域对扣除所述目标物体后的图像区域进行填充时，执行如下操作：
从所述图像帧序列中确定出参考帧，所述参考帧为所述目标帧的前M帧中的任一帧，其中，M为大于1的整数；
确定所述参考帧的曝光强度；
采用白平衡算法，基于所述参考帧的曝光强度以及所述周围图像域对扣除所述目标物体后的图像区域进行填充。
30.根据权利要求19所述的装置，其特征在于，所述处理器填充抠除所述目标物体后的图像区域时，执行如下操作：
获取所述目标帧包括的第一单元图像，所述第一单元图像为所述目标帧中存在目标物体的图像区域；
将抠除存在目标物体的图像区域后的目标帧和所述第一单元图像输入卷积神经网络模型，并获取所述卷积神经网络模型的输出图像，所述输出图像为进行填充后的目标帧。
31.根据权利要求19所述的装置，其特征在于，所述处理器填充抠除所述目标物体后的图像区域时，执行如下操作：
获取所述目标帧包括的第一单元图像，以及所述目标帧的前一帧图像和后一帧图像，所述第一单元图像为所述目标帧中存在目标物体的图像区域；
将所述前一帧图像，所述后一帧图像，所述抠除存在目标物体的图像区域后的目标帧以及所述第一单元图像输入卷积神经网络模型，并获取所述卷积神经网络模型的输出图像，所述输出图像为进行填充后的目标帧。
32.根据权利要求19所述的装置，其特征在于，所述处理器填充抠除所述目标物体后的图像区域时，执行如下操作：
获取所述目标帧的前一帧图像和后一帧图像；
基于所述前一帧图像和所述后一帧图像，对所述抠除所述目标物体后的图像区域进行填充，得到所述填充后的目标帧。
33.根据权利要求32所述的装置，其特征在于，所述处理器基于所述前一帧图像和所述后一帧图像，对所述抠除所述目标物体后的图像区域进行填充，得到填充后的目标帧时，执行如下操作：
获取所述前一帧图像中的第二单元图像，所述第二单元图像为所述前一帧图像中和所述目标帧中存在目标物体的图像区域对应相同位置的图像；
获取所述后一帧图像中与第三单元图像，所述第三单元图像为所述后一帧图像中和所述目标帧中存在目标物体的图像区域对应相同位置的图像；
获取所述第二单元图像所包含的各个像素点的第一数值，并获取所述第三单元图像所包含的各个像素点的第二数值；
针对任一像素点，计算所述第一数值和所述第二数值的平均值；
基于所述平均值对所述抠除存在目标物体的图像区域的目标帧进行像素填充，得到所述填充后的目标帧。
34.根据权利要求1所述的装置，其特征在于，所述目标物体是在延时拍摄过程中，所述目标帧包括的异常物体。
35.根据权利要求34所述的装置，其特征在于，所述处理器确定具有目标物体的目标帧时，执行如下操作：
确定所述目标帧的相邻帧；
将所述目标帧和所述相邻帧进行对比，从所述目标帧中确定出与所述相邻帧在同一位置对应不同像素值的像素点组成的目标图像，所述目标图像对应的物体为所述目标物体；
将所述图像帧序列中包括所述目标物体的帧作为目标帧。
36.根据权利要求35所述的装置，其特征在于，所述目标物体为移动物体的全部或者局部。
37.一种图像拍摄和处理系统，其特征在于，包括拍摄装置和一个或多个处理器，其中：
所述拍摄装置，用于延时拍摄得到图像帧序列，并将所述图像帧序列发送给所述一个或多个处理器；
所述一个或多个处理器，被配置用于获取延时拍摄的图像帧序列，在所述图像帧序列中，确定具有目标物体的目标帧，抠除所述目标帧中存在目标物体的图像区域，并填充抠除所述目标物体后的图像区域。
38.根据权利要求37所述的图像拍摄和处理系统，其特征在于，所述拍摄装置在获取延时拍摄的图像帧序列时，具体用于：
获取拍摄的至少一帧初始图像...
【专利技术属性】
技术研发人员：薛立君，费奥多尔·克拉夫琴科，
申请(专利权)人：深圳市大疆创新科技有限公司，
类型：发明
国别省市：广东;44
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。