一种视频处理方法及相关装置制造方法及图纸

本申请公开了一种视频处理方法，应用于终端中。该方法包括：当终端处于夜景拍摄模式时，检测终端拍摄的图像中是否存在灯光区域；当终端拍摄的图像中存在灯光区域时，在终端采集的图像序列中确定第一图像，第一图像中的灯光区域的邻近区域出现过曝；根据第一图像在图像序列中确定第二图像和第三图像，第二图像以及第三图像中的灯光区域的邻近区域的过曝程度小于第一图像中的灯光区域邻近区域的过曝程度；根据第一图像、第二图像和第三图像生成目标图像；基于目标图像，生成视频。基于本方案，能够将视频中的震颤图像替换为正常显示的图像，从而解决由镜头抖动所引起的视频画面中的灯光区域不正常外扩的问题。区域不正常外扩的问题。区域不正常外扩的问题。

【技术实现步骤摘要】
一种视频处理方法及相关装置


[0001]本申请涉及视频处理
，尤其涉及一种视频处理方法及相关装置。

技术介绍

[0002]随着社会的发展，人们越来越多的使用各种终端进行视频拍摄，包括消费者领域以及视频监控领域等。智能手机等便携式终端设备拍摄视频时的镜头抖动问题一直是生成高质量视频的最大难点之一。由于便携式终端比较轻便，用户通常会一边移动一边使用便携式终端拍摄视频，导致视频画面不稳定。在用户的移动过程中，便携式终端的镜头会发生抖动，从而导致视频画面中的灯光区域被更大区域的感光元件感应到，出现视频画面中的灯光区域不正常外扩的现象。
[0003]目前，亟需一种视频处理方案，以解决由镜头抖动所引起的视频画面中的灯光区域不正常外扩的问题。

技术实现思路

[0004]本申请提供了一种视频处理方法，能够将视频中的震颤图像替换为正常显示的图像，从而解决由镜头抖动所引起的视频画面中的灯光区域不正常外扩的问题。
[0005]本申请第一方面提供一种视频处理方法，该方法可以应用于终端。该方法包括：当终端处于夜景拍摄模式时，检测所述终端拍摄的图像中是否存在灯光区域。
[0006]当所述终端拍摄的图像中存在灯光区域时，终端在采集的图像序列中确定第一图像，所述第一图像中的灯光区域的邻近区域出现过曝。所述第一图像中的灯光区域的邻近区域出现过曝是指该邻近区域中的像素的亮度值过高。第一图像中的灯光区域的邻近区域出现过曝的原因是终端在采集第一图像的时候发生了抖动位移，使得终端中对应于邻近区域的感光元件同样感应到了灯光区域内的光线，最终导致第一图像中的灯光区域的邻近区域出现过曝。
[0007]在确定第一图像后，终端根据所述第一图像在所述图像序列中确定第二图像和第三图像，所述第一图像的采集时刻位于所述第二图像的采集时刻与所述第三图像的采集时刻之间，所述第二图像以及所述第三图像中的灯光区域的邻近区域的过曝程度小于所述第一图像中的灯光区域邻近区域的过曝程度。其中，第二图像以及第三图像中的灯光区域与第一图像中的灯光区域具有对应关系，即第二图像以及第三图像中的灯光区域与第一图像中的灯光区域表示的是相同的画面内容。例如，第二图像和第三图像中的灯光区域表示的是某一个路灯的发光区域；第一图像中的灯光区域也是表示同一个路灯的发光区域。
[0008]终端根据所述第一图像、所述第二图像和所述第三图像生成目标图像，所述目标图像用于替换所述第一图像，所述目标图像的灯光区域的邻近区域的过曝程度小于所述第一图像的灯光区域的邻近区域的过曝程度。其中，第二图像和第三图像用于作为参考图像来生成替换第一图像的目标图像，以使得生成的目标图像的灯光区域的邻近区域的过曝程度小于所述第一图像的灯光区域的邻近区域的过曝程度。
[0009]终端基于所述目标图像，生成视频。具体地，终端可以是将采集得到的图像序列中的第一图像替换为目标图像，从而生成视频。
[0010]本实施例中，通过在夜景拍摄模式下定位灯光区域的邻近区域出现过曝的震颤图像，将震颤图像前后的图像作为参考图像，并基于震颤图像以及参考图像来生成用于替换震颤图像的目标图像。通过本方案，能够将视频中的震颤图像替换为正常显示的图像，从而解决由镜头抖动所引起的视频画面中的光亮部分灯光区域不正常外扩的问题。
[0011]在一种可能的实现方式中，终端可以通过图像识别的方式或者是预先训练好的神经网络来检测拍摄的图像中是否存在灯光区域。
[0012]具体地，终端可以通过检测拍摄的图像中的像素的亮度值，来判断图像中是否存在灯光区域。具体地，灯光区域内的像素的亮度值均大于或等于特定阈值，且灯光区域内的像素的亮度值与灯光区域的相邻区域的像素的亮度值之间的差异值大于或等于预设设定的差值。
[0013]其中，上述的特定阈值的取值可以为180
‑
230，例如特定阈值具体为224；预先设定的差值的取值可以为25
‑
50，例如预设设定的差值为32。例如，当终端检测到图像中存在有某一个区域内的像素的亮度值均大于或等于224，且该区域内的像素的亮度值与相邻区域的像素的亮度值之间的差异值大于或等于32，则终端可以确定该区域为灯光区域。其中，灯光区域的相邻区域可以是由与灯光区域内的像素相邻的像素所构成，即灯光区域的相邻区域内的像素与灯光区域内的像素相邻。
[0014]此外，在终端确定图像中存在灯光区域之后，终端还可以根据位于灯光区域内的像素的坐标，确定图像中的灯光区域的位置。其中，图像中的灯光区域的位置可以是以灯光区域的边界的像素的坐标来确定，即由灯光区域的边界的像素所包围的区域即为灯光区域。终端可以通过记录灯光区域的边界的像素的坐标或者是灯光区域内的所有像素的坐标，来确定灯光区域的位置。
[0015]具体地，上述第二图像以及所述第三图像中的灯光区域的邻近区域的过曝程度小于所述第一图像中的灯光区域邻近区域的过曝程度可以是指：第二图像以及所述第三图像中的灯光区域的邻近区域中发生过曝的区域的面积小于第一图像中的灯光区域的邻近区域中发生过曝的区域的面积；或者，第二图像以及所述第三图像中的灯光区域的邻近区域中发生过曝的像素的亮度值小于第一图像中的灯光区域的邻近区域中发生过曝的像素的亮度值。
[0016]可选的，第二图像以及所述第三图像中的灯光区域的邻近区域中发生过曝的区域的面积可以为0，即第二图像和第三图像中的灯光区域的邻近区域并没有发生过曝。总的来说，相对于第一图像，第二图像和第三图像是终端在抖动位移较小或者是没有发生抖动位移的情况下采集的，因此第二图像以及所述第三图像中的灯光区域的邻近区域的过曝程度小于所述第一图像中的灯光区域邻近区域的过曝程度。
[0017]在一种可能的实现方式中，所述方法还包括：当环境光的光照度小于第一预设阈值时，所述终端进入夜景拍摄模式。示例性地，第一预设阈值的取值可以为30
‑
60，例如第一预设阈值为50。终端在拍摄的过程中，可以检测环境光的光照度，环境光的光照度小于50时，终端则进入夜景拍摄模式。或，当所述终端获取到用于触发进入夜景拍摄模式的指令时，所述终端进入夜景拍摄模式。例如，在用户操作终端进行拍摄的过程中，用户可以通过
触控终端屏幕的方式，向终端下发进入夜景拍摄模式的指令；这样一来，当终端获取到用于触发进入夜景拍摄模式的指令时，终端则进入夜景拍摄模式。
[0018]此外，终端还可以是根据拍摄过程中的预览图像的画面内容和/或预览图像各区域的环境亮度值，来确定当前拍摄场景是否为夜景场景，从而确定是否进入夜景拍摄模式。例如，当预览图像的画面内容包括夜晚天空或者夜景灯源等内容时，终端可以确定当前拍摄场景为夜景场景，从而进入夜景拍摄模式；或者，当预览图像的各区域中的环境亮度值符合夜景环境下图像的亮度分布特性时，终端可以确定当前拍摄场景为夜景场景，从而进入夜景拍摄模式。
[0019]在一种可能的实现方式中，所述终端采集所述第一图像时的抖动位移大于第二预设阈值。其中，第二预设阈值可以为300...

【技术保护点】

【技术特征摘要】
1.一种视频处理方法，其特征在于，应用于视频拍摄，所述方法包括：当终端处于夜景拍摄模式时，检测所述终端拍摄的图像中是否存在灯光区域；当所述终端拍摄的图像中存在灯光区域时，在所述终端采集的图像序列中确定第一图像，所述第一图像中的灯光区域的邻近区域出现过曝；根据所述第一图像在所述图像序列中确定第二图像和第三图像，所述第一图像的采集时刻位于所述第二图像的采集时刻与所述第三图像的采集时刻之间，所述第二图像以及所述第三图像中的灯光区域的邻近区域的过曝程度小于所述第一图像中的灯光区域邻近区域的过曝程度；根据所述第一图像、所述第二图像和所述第三图像生成目标图像，所述目标图像用于替换所述第一图像，所述目标图像的灯光区域的邻近区域的过曝程度小于所述第一图像的灯光区域的邻近区域的过曝程度；基于所述目标图像，生成视频。2.根据权利要求1所述的方法，其特征在于，所述方法还包括：当环境光的光照度小于第一预设阈值时，所述终端进入夜景拍摄模式；或，当所述终端获取到用于触发进入夜景拍摄模式的指令时，所述终端进入夜景拍摄模式。3.根据权利要求1或2所述的方法，其特征在于，所述终端采集所述第一图像时的抖动位移大于第二预设阈值。4.根据权利要求3所述的方法，其特征在于，所述第一图像中目标像素的个数与第一图像的像素总个数的比值在预设范围内，所述目标像素为所述第一图像中的灯光区域内的像素。5.根据权利要求1
‑
4任意一项所述的方法，其特征在于，所述根据所述第一图像在所述多个图像中确定第二图像和第三图像，包括：分别确定所述多个图像中每个图像的稳定值，所述稳定值为所述图像的抖动值与所述图像和所述第一图像之间的采集时间差之和的倒数；确定所述多个图像中稳定值最大的图像为所述第二图像；根据所述第二图像的采集时刻，在所述多个图像中确定所述第三图像。6.根据权利要求5所述的方法，其特征在于，所述根据所述第二图像的采集时刻，在所述多个图像中确定所述第三图像，包括：根据所述第二图像的采集时刻，在所述多个图像中确定一个或多个图像，所述第一图像的采集时刻位于所述第二图像的采集时刻与所述一个或多个图像的采集时刻之间；在所述一个或多个图像中确定稳定值最大的图像为所述第三图像。7.根据权利要求1
‑
6任意一项所述的方法，其特征在于，所述根据所述第一图像、所述第二图像和所述第三图像生成目标图像，包括：将所述第二图像划分为多个图像块；根据所述第一图像和所述第三图像确定所述多个图像块分别对应的运动矢量；根据所述多个图像块分别对应的运动矢量以及所述多个图像块，生成所述目标图像。8.根据权利要求7所述的方法，其特征在于，所述根据所述第一图像和所述第三图像确定所述多个图像块分别对应的运动矢量，包括：
获取第一图像块对应的多个候选运动矢量，所述多个图像块包括所述第一图像块；根据所述第一图像块的位置，确定所述多个候选运动矢量中每个候选运动矢量对应的第二图像块和第三图像块，所述第一图像包括所述第二图像块，所述第三图像包括所述第三图像块；根据所述第一图像块、所述第二图像块和所述第三图像块，确定所述每个候选运动矢量对应的目标误差值，所述目标误差值是基于所述第一图像块与所述第二图像块之间的误差值以及所述第一图像块与所述第三图像块之间的误差值得到的；根据所述每个候选运动矢量对应的目标误差值，在所述多个候选运动矢量中确定目标误差值最小的运动矢量为所述第一图像块对应的运动矢量。9.根据权利要求8所述的方法，其特征在于，所述多个候选运动矢量，包括：一个或多个预设运动矢量、随机生成的一个或多个运动矢量和/或与所述第一图像块相邻的图像块对应的运动矢量。10.根据权利要求7
‑
9任意一项所述的方法，其特征在于，所述方法还包括：若所述目标图像中存在无法基于所述多个图像块生成图像的区域，则对所述第三图像进行划分，得到所述第三图像的多个图像块；根据所述第一图像和所述第二图像确定所述第三图像的多个图像块分别对应的运动矢量；根据所述第三图像的多个图像块对应的运动矢量以及所述第三图像的多个图像块，更新所述目标图像，得到新的目标图像，所述新的目标图像用于替换所述第一图像。11.一种视频处理装置，其特征在于，包括存储器和处理器；所述存储器存储有代码，所述处理器被配置为执行所述代码，当所述代码被执行时，所述视频处理装置执行如权利要求1至10任意一项所述的方法。12.一种视频处理装置，其特征在于，包括：检测单元，用于当终端处于夜景拍摄模式时，检测所述终端拍摄的图像中是否存在灯光区域；第一确定单元，用于当所述终端拍摄的图像中存在灯光区域时，在所述终端采集的图像序列中确定第一...

【专利技术属性】
技术研发人员：文锦松，艾金钦，王梓仲，贾彦冰，周蔚，徐培，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：