本发明专利技术提供了一种实时视频防抖的方法，包括：S101：对所述视频的帧画面进行特征检测；S102：根据当前帧画面和前一帧画面的特征检测结果，匹配得到第一仿射矩阵；S103：对所述第一仿射矩阵进行卡尔曼滤波，得到第二仿射矩阵；S104：判断当前帧画面的抖动是否超过阈值；S105：当所述当前帧画面的抖动小于等于所述阈值时，以所述当前帧画面的第二仿射矩阵作为当前帧画面的纠正矩阵；当所述当前帧画面的抖动大于所述阈值时，根据最近一个未超过阈值的帧画面的第二仿射矩阵生成当前帧画面的纠正矩阵；S106：以所述纠正矩阵对当前帧画面进行防抖处理。抖处理。抖处理。
【技术实现步骤摘要】
实时视频防抖的方法及视频防抖装置
[0001]本专利技术大致涉及视频处理
，尤其涉及一种实时视频防抖的方法及视频防抖装置。
技术介绍
[0002]在使用近眼显示设备观看画面时，难以避免地存在画面抖动的问题，尤其在画面被放大、拉近(变焦)的情况下，佩戴者轻微的抖动可能造成画面剧烈的抖动，画面的抖动容易使人感到眩晕不适，因此需引入防抖技术来予以改善。
[0003]现有技术中，电子防抖是较为经济的选择，电子防抖通常通过运动估计和运动补偿实现，利用数字图像处理技术去除帧间的抖动。
[0004]采用何种算法可以达到更好的视频防抖效果，尤其是在近眼显示设备的佩戴者异常抖动时，使投射在佩戴者视野中的画面稳定、变化平缓，是一个亟待解决的技术问题。
[0005]
技术介绍
部分的内容仅仅是公开人所知晓的技术，并不当然代表本领域的现有技术。
技术实现思路
[0006]有鉴于现有技术的至少一个缺陷，本专利技术提供一种实时视频防抖的方法，包括：
[0007]S101：对所述视频的帧画面进行特征检测；
[0008]S102：根据当前帧画面和前一帧画面的特征检测结果，匹配得到第一仿射矩阵；
[0009]S103：对所述第一仿射矩阵进行卡尔曼滤波，得到第二仿射矩阵；
[0010]S104：判断当前帧画面的抖动是否超过阈值；
[0011]S105：当所述当前帧画面的抖动小于等于所述阈值时，以所述当前帧画面的第二仿射矩阵作为当前帧画面的纠正矩阵；当所述当前帧画面的抖动大于所述阈值时，根据最近一个未超过阈值的帧画面的第二仿射矩阵生成当前帧画面的纠正矩阵；
[0012]S106：以所述纠正矩阵对当前帧画面进行防抖处理。
[0013]根据本专利技术的一个方面，其中步骤S106进一步包括：
[0014]将所述当前帧的前一帧的原始画面乘以所述纠正矩阵得到防抖处理后的当前帧画面。
[0015]根据本专利技术的一个方面，其中步骤S105进一步包括：
[0016]当所述当前帧画面的抖动大于所述阈值时，以所述最近一个未超过阈值的帧画面的第二仿射矩阵作为当前帧画面的纠正矩阵。
[0017]根据本专利技术的一个方面，其中步骤S105进一步包括：
[0018]当所述当前帧画面的抖动大于所述阈值时，将所述最近一个未超过阈值的帧画面的第二仿射矩阵减去预设值得到当前帧画面的纠正矩阵。
[0019]根据本专利技术的一个方面，其中步骤S101进一步包括：
[0020]对所述视频的每一帧画面进行特征点的提取。
[0021]根据本专利技术的一个方面，其中步骤S102进一步包括：
[0022]匹配当前帧画面和前一帧画面的特征点，计算第一仿射矩阵，所述第一仿射矩阵包括所述特征点的水平方向上的位移量、竖直方向上的位移量和角位移量。
[0023]根据本专利技术的一个方面，其中步骤S103进一步包括：
[0024]对所述水平方向上的位移量、竖直方向上的位移量和角位移量进行卡尔曼滤波。
[0025]根据本专利技术的一个方面，其中步骤S104进一步包括：
[0026]根据所述水平方向上的位移量、竖直方向上的位移量和角位移量进行判断。
[0027]本专利技术还提供一种视频防抖装置，包括：
[0028]对所述视频的帧画面进行特征检测的单元；
[0029]根据当前帧画面和前一帧画面的特征检测结果匹配得到第一仿射矩阵的单元；
[0030]对所述第一仿射矩阵进行卡尔曼滤波得到第二仿射矩阵的单元；
[0031]判断当前帧画面的抖动是否超过阈值的单元；
[0032]纠正矩阵生成单元，配置成当所述当前帧画面的抖动小于等于所述阈值时，以所述当前帧画面的第二仿射矩阵作为当前帧画面的纠正矩阵；当所述当前帧画面的抖动大于所述阈值时，根据最近一个未超过阈值的帧画面的第二仿射矩阵生成当前帧画面的纠正矩阵；
[0033]以所述纠正矩阵对当前帧画面进行防抖处理的单元。
[0034]本专利技术还提供一种移动设备，包括：
[0035]摄像头，配置成可实时采集周围环境的视频；
[0036]图像处理装置，配置成可实施如上所述的实时视频防抖的方法，并输出经过防抖处理的图像帧序列；和
[0037]投射装置，与所述图像处理装置通讯，并配置成可向用户投射所述经过防抖处理的图像帧序列。
[0038]根据本专利技术的一个方面，其中所述移动设备是虚拟现实设备、增强现实设备、混合现实设备或助视器。
[0039]本专利技术还提供一种计算机可读存储介质,包括存储于其上的计算机可执行指令，所述可执行指令在被处理器执行时实施如上所述的实时视频防抖的方法。
[0040]本专利技术的优选实施例提供了一种实时视频防抖的方法，通过仿射变换和卡尔曼滤波，生成针对当前帧画面的第二仿射矩阵，并根据当前帧画面的抖动速度，选择当前帧画面或上一个未超速帧画面的第二仿射矩阵作为纠正矩阵，对当前帧画面进行纠正。本专利技术的优选实施例既实现了减少视频的帧间抖动，又在佩戴者异常抖动的情况下，保持画面稳定、变化平缓，有效防止了画面出现明显的跳动的情形。
附图说明
[0041]附图用来提供对本专利技术的进一步理解，并且构成说明书的一部分，与本专利技术的实施例一起用于解释本专利技术，并不构成对本专利技术的限制。在附图中：
[0042]图1示出了根据本专利技术的一个优选实施例的实时视频防抖的方法；
[0043]图2A示意性地示出了画面抖动以及帧内特征点位置的移动；
[0044]图2B示意性地示出了画面抖动以及帧内特征点位置的移动；
[0045]图2C示意性地示出了画面抖动以及帧内特征点位置的移动；
[0046]图2D示意性地示出了画面抖动以及帧内特征点位置的移动；
[0047]图3示意性地示出了画面异常抖动的情况；
[0048]图4A示出了根据本专利技术的一个优选实施例的防抖处理效果；
[0049]图4B示出了根据本专利技术的一个优选实施例的防抖处理效果；
[0050]图5示意性地示出了根据本专利技术的一个优选实施例的移动设备；
[0051]图6A示出了根据本专利技术的一个优选实施例的计算机指令执行流程图；
[0052]图6B示出了根据本专利技术的一个优选实施例的计算机指令执行流程图。
具体实施方式
[0053]在下文中，仅简单地描述了某些示例性实施例。正如本领域技术人员可认识到的那样，在不脱离本专利技术的精神或范围的情况下，可通过各种不同方式修改所描述的实施例。因此，附图和描述被认为本质上是示例性的而非限制性的。
[0054]在本专利技术的描述中，需要理解的是，术语"中心"、"纵向"、"横向"、"长度"、"宽度"、"厚度"、"上"、"下"、"前"、"后"、"左"、"右"、"竖直"、"水平"、"顶"、"底"、"内"、"外"、"顺时针"、"逆时针"等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种实时视频防抖的方法，包括：S101：对所述视频的帧画面进行特征检测；S102：根据当前帧画面和前一帧画面的特征检测结果，匹配得到第一仿射矩阵；S103：对所述第一仿射矩阵进行卡尔曼滤波，得到第二仿射矩阵；S104：判断当前帧画面的抖动是否超过阈值；S105：当所述当前帧画面的抖动小于等于所述阈值时，以所述当前帧画面的第二仿射矩阵作为当前帧画面的纠正矩阵；当所述当前帧画面的抖动大于所述阈值时，根据最近一个未超过阈值的帧画面的第二仿射矩阵生成当前帧画面的纠正矩阵；S106：以所述纠正矩阵对当前帧画面进行防抖处理。2.如权利要求1所述的实时视频防抖的方法，其中步骤S106进一步包括：将所述当前帧的前一帧的原始画面乘以所述纠正矩阵得到防抖处理后的当前帧画面。3.如权利要求1或2所述的实时视频防抖的方法，其中步骤S105进一步包括：当所述当前帧画面的抖动大于所述阈值时，以所述最近一个未超过阈值的帧画面的第二仿射矩阵作为当前帧画面的纠正矩阵。4.如权利要求1或2所述的实时视频防抖的方法，其中步骤S105进一步包括：当所述当前帧画面的抖动大于所述阈值时，将所述最近一个未超过阈值的帧画面的第二仿射矩阵减去预设值得到当前帧画面的纠正矩阵。5.如权利要求1或2所述的实时视频防抖的方法，其中步骤S101进一步包括：对所述视频的每一帧画面进行特征点的提取。6.如权利要求5所述的实时视频防抖的方法，其中步骤S102进一步包括：匹配当前帧画面和前一帧画面的特征点，计算第一仿射矩阵，所述第一仿射矩阵包括所述特征点的水平方向上的位移量、竖直方向上的位移量和角位移量。7.如权...
【专利技术属性】
技术研发人员：谭智豪，黄正宇，
申请(专利权)人：北京翠鸟视觉科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。