一种图像处理方法及相关装置制造方法及图纸

本申请实施例公开了一种图像处理方法，涉及图像处理技术领域。本申请实施例方法包括：获取第一图像序列，所述第一图像序列包括M个图像，所述M为正整数；确定所述M个图像中每个图像对应的抖动幅度，所述抖动幅度用于表示图像中的像素相比于基准图像的偏移量；根据所述抖动幅度，在所述M个图像中确定N个图像，所述N小于所述M，且所述N为正整数；输出第二图像序列，所述第二图像序列包括所述N个图像。该方法能够避免视频画面出现无图像区域，提高视频的质量。质量。质量。

【技术实现步骤摘要】
一种图像处理方法及相关装置


[0001]本申请涉及图像处理
，尤其涉及一种图像处理方法及相关装置。

技术介绍

[0002]随着社会的发展，人们越来越多的使用各种终端进行视频拍摄，包括消费者领域以及视频监控领域等。在使用终端拍摄视频的过程中，由于拍摄者运动或者用于固定终端的固定杆受到外力发生振动，会导致视频画面出现抖动的情况，无法取得令人满意的视频质量。因此，视频防抖技术被提出，应用于视频的拍摄过程或者视频的后处理过程，以减轻抖动对视频质量的影响。
[0003]目前，在视频防抖算法中，通常是预先设置一个裁剪比例，对输入的视频进行裁剪，并输出较小尺寸的视频，从而实现视频防抖。然而，在拍摄视频的终端抖动较大时，视频画面的抖动程度会超过裁剪比例能处理的范围，从而导致视频画面出现无图像区域，影响了视频的质量。

技术实现思路

[0004]本申请提供了一种图像处理方法及相关装置，通过在获取到M个图像时，根据M个图像中每个图像对应的抖动幅度，在M个图像选择N个图像作为输出，N为小于M的正整数，从而将抖动幅度较大的图像筛选掉，尽可能保证视频画面的抖动程度不会超过裁剪比例能处理的范围，避免视频画面出现无图像区域，提高了视频的质量。
[0005]本申请第一方面提供一种图像处理方法，包括：终端获取第一图像序列，所述第一图像序列包括M个图像，所述M为正整数，即所述第一图像序列可以是图像采集装置在一个时间段内，例如0.5秒或1秒，所采集到的一组连续的图像。终端确定所述M个图像中每个图像对应的抖动幅度，所述抖动幅度用于表示图像中的像素相比于该像素在基准图像中所对应的像素的偏移量。该基准图像可以是图像采集装置未发生抖动时所采集的图像，且该基准图像是图像采集装置在采集M个图像之前所采集的图像。根据所述M个图像中每个图像的抖动幅度，终端在所述M个图像中确定N个图像，所述N小于所述M，且所述N为正整数，即在M个图像中确定N个抖动幅度较小的图像，以便于将抖动幅度较大的图像筛选出来。终端输出第二图像序列，所述第二图像序列包括所述N个图像。
[0006]本方案中，通过在获取到M个图像时，根据M个图像中每个图像对应的抖动幅度，在M个图像中选择N个图像作为输出，N为小于M的正整数，从而将抖动幅度较大的图像筛选掉，保证视频画面的抖动程度不会超过裁剪比例能处理的范围，避免视频画面出现无图像区域，提高了视频的质量。
[0007]在一种可能的实现方式中，所述根据所述M个图像中每个图像对应的抖动幅度，在所述M个图像中确定N个图像，包括：根据所述抖动幅度，按照抖动幅度从小到大的顺序，在所述M个图像中确定N个图像，所述N的取值为第一阈值。也就是说，终端在M个图像中选择了N个图像，剩余M
‑
N个未选择的图像。终端所确定的N个图像为该M个图像中抖动幅度最小的N
个图像，N个图像中的任意一个图像对应的抖动幅度均小于M
‑
N个未选择的图像对应的抖动幅度。
[0008]通过按照抖动幅度从小到大的顺序，在M个图像中确定N个图像，可以将输入的图像序列中抖动幅度最大的一个或多个图像筛选掉，从而保证用于后续防抖处理的图像的抖动程度不会超过裁剪比例能处理的范围，避免视频画面出现无图像区域，提高视频的质量。
[0009]在一种可能的实现方式中，所述根据所述M个图像中每个图像对应的抖动幅度，在所述M个图像中确定N个图像，包括：根据所述抖动幅度以及约束条件，按照抖动幅度从小到大的顺序，在所述M个图像中确定N个图像，所述N的取值为第一阈值；其中，所述约束条件为得到的N个图像中相邻的两个图像在所述第一图像序列中的间隔小于第二阈值。也就是说，终端在M个图像中选择N个图像的过程中，除了按照抖动幅度从小到大的顺序来选择图像，还需要保证选择到的相邻的两个图像在第一图像序列中的间隔不大于第二阈值。
[0010]通过设定终端在选择图像的过程中的约束条件，可以保证终端所选择到的多个图像中任意两个相邻的图像之间的时间间隔在一定的范围内，避免视频画面出现卡顿的现象。
[0011]在一种可能的实现方式中，所述根据所述M个图像中每个图像对应的抖动幅度，在所述M个图像中确定N个图像，包括：根据所述抖动幅度，在所述M个图像中确定抖动幅度小于第三阈值的N个图像。
[0012]也就是说，在终端中可以预先设定有第三阈值，终端可以根据M个图像中每个图像对应的抖动幅度与第三阈值之间的大小关系，确定需要选择的图像为抖动幅度小于第三阈值的图像。其中，第三阈值可以是根据裁剪比例所确定的阈值，该裁剪比例为终端中预置的，是在对图像防抖处理中用于裁剪图像的比例。通过根据裁剪比例确定第三阈值，可以确保采用该裁剪比例处理抖动幅度小于该第三阈值的图像时，不会出现无图像区域。
[0013]在一种可能的实现方式中，所述方法还包括：在确定所述图像采集装置发生抖动时，向所述图像采集装置发送指令，所述指令用于指示所述图像采集装置采用第一帧率来采集图像；其中，所述图像采集装置在未发生抖动时采用第二帧率采集图像，所述第二帧率小于所述第一帧率。
[0014]在终端所输出的视频的帧率固定的情况下，终端在确定图像采集装置发生抖动时，再指示图像采集装置提高采集图像的帧率，可以保证终端获取到的输入图像多于终端输出的图像，便于终端筛选并剔除抖动幅度较大的图像。只有在图像采集装置发生抖动的情况下，图像采集装置才需要提高采集图像的帧率，从而能够避免图像采集装置一直采用较高的帧率采集图像，降低了图像采集装置的能耗。
[0015]在一种可能的实现方式中，所述方法还包括：获取所述图像采集装置在第一时间段内的S个时刻的角速度信息，所述S为大于1的整数；确定所述S个时刻的角速度信息的方差；当所述方差大于第四阈值时，确定所述图像采集装置发生抖动；当所述方差小于或等于所述第四阈值时，确定所述图像采集装置未发生抖动。
[0016]其中，方差是指每个角速度信息与全体角速度信息的平均数之差的平方值的平均数，用于衡量每一个角速度信息与总体角速度信息均值之间的差异。在方差较大的情况下，可以认为角速度信息与总体角速度信息均值之间的差异较大，即角速度在总体角速度的均值附近波动较大，从而可以认为图像采集装置发生了抖动。
[0017]在一种可能的实现方式中，所述M个图像对应的抖动幅度包括所述M个图像对应的偏移量；所述终端确定所述M个图像对应的抖动幅度，包括：终端获取图像采集装置在第二时间段内的P个时刻的角速度信息，所述P为大于1的整数，所述图像采集装置用于采集所述第一图像序列；终端根据所述P个时刻的角速度信息确定所述图像采集装置在采集所述M个图像时的位姿信息；终端根据所述位姿信息确定所述M个图像中每个图像对应的偏移量。
[0018]在一种可能的实现方式中，终端根据所述P个时刻的角速度信息确定图像采集装置在采集所述M个图像时的位姿信息，包括：终端根据所述P个时刻的角速度信息以及所述M个图像的采集时刻，通过线性插值法确定所述图像采集装置在采集所述M个图像时的位姿信息。...

【技术保护点】

【技术特征摘要】
1.一种图像处理方法，其特征在于，包括：获取第一图像序列，所述第一图像序列包括M个图像，所述M为正整数；确定所述M个图像中每个图像对应的抖动幅度，所述抖动幅度用于表示图像中的像素相比于基准图像的偏移量；根据所述抖动幅度，在所述M个图像中确定N个图像，所述N小于所述M，且所述N为正整数；输出第二图像序列，所述第二图像序列包括所述N个图像。2.根据权利要求1所述的图像处理方法，其特征在于，所述根据所述M个图像中每个图像对应的抖动幅度，在所述M个图像中确定N个图像，包括：根据所述抖动幅度，按照抖动幅度从小到大的顺序，在所述M个图像中确定N个图像，所述N的取值为第一阈值。3.根据权利要求1所述的图像处理方法，其特征在于，所述根据所述M个图像中每个图像对应的抖动幅度，在所述M个图像中确定N个图像，包括：根据所述抖动幅度以及约束条件，按照抖动幅度从小到大的顺序，在所述M个图像中确定N个图像，所述N的取值为第一阈值；其中，所述约束条件为得到的N个图像中相邻的两个图像在所述第一图像序列中的间隔小于第二阈值。4.根据权利要求1所述的图像处理方法，其特征在于，所述根据所述M个图像中每个图像对应的抖动幅度，在所述M个图像中确定N个图像，包括：根据所述抖动幅度，在所述M个图像中确定抖动幅度小于第三阈值的N个图像。5.根据权利要求1至4任意一项所述的图像处理方法，其特征在于，所述方法还包括：在确定所述图像采集装置发生抖动时，向所述图像采集装置发送指令，所述指令用于指示所述图像采集装置采用第一帧率来采集图像；其中，所述图像采集装置在未发生抖动时采用第二帧率采集图像，所述第二帧率小于所述第一帧率。6.根据权利要求5所述的图像处理方法，其特征在于，所述方法还包括：获取所述图像采集装置在第一时间段内的S个时刻的角速度信息，所述S为大于1的整数；确定所述S个时刻的角速度信息的方差；当所述方差大于第四阈值时，确定所述图像采集装置发生抖动；当所述方差小于或等于所述第四阈值时，确定所述图像采集装置未发生抖动。7.根据权利要求1至6任意一项所述的图像处理方法，其特征在于，所述M个图像对应的抖动幅度包括所述M个图像对应的偏移量；所述确定所述M个图像对应的抖动幅度，包括：获取图像采集装置在第二时间段内的P个时刻的角速度信息，所述P为大于1的整数，所述图像采集装置用于采集所述第一图像序列；根据所述P个时刻的角速度信息确定所述图像采集装置在采集所述M个图像时的位姿信息；根据所述位姿信息确定所述M个图像中每个图像对应的偏移量。8.根据权利要求7所述的图像处理方法，其特征在于，所述根据所述P个时刻的角速度
信息确定图像采集装置在采集所述M个图像时的位姿信息，包括：根据所述P个时刻的角速度信息以及所述M个图像的采集时刻，通过线性插值法确定所述图像采集装置在采集所述M个图像时的位姿信息。9.根据权利要求7或8所述的图像处理方法，其特征在于，所述根据所述位姿信息确定所述M个图像对应的偏移量，包括：根据所述图像采集装置在采集所述M个图像时的位姿信息确定所述M个图像中每个图像对应的旋转矩阵；根据所述M个图像对应的旋转矩阵，确定所述M个图像对应的偏移量。10.根据权利要求1至3任意一项所述的图像处理方法，其特征在于，所述在所述M个图像中确定N个图像之前，所述方法还包括：获取图像选择比值，所述图像选择比值为图像输入数量与图像输出数量之间的比值；根据所述M个图像与所述图像选择比例，确定所述N的取值；其中，所述M与所述N之间的比值与所述图像选择比值相同。11.根据权利要求1至10任意一项所述的图像处理方法，其特征在于，所述输出第二图像序列之前，所述方法还包括：根据防抖算法，对所述N个图像进行防抖处理，得到处理后的N个图像；输出所述第二图像序列，所述第二图像序列包括所述处理后的N个图像。12.一种终端，其特征在于，包括获取单元和处理单元；所述获取单元，用于获取第一图像序列，所述第一图像序列包括M个图像，所述M为正整数；所述处理单元，用于确...

【专利技术属性】
技术研发人员：任津雄，赖昌材，杨长久，郑士胜，胡红旗，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：