基于局部非均匀分辨率的视频图像处理设备、系统及方法技术方案

本发明专利技术公开了基于局部非均匀分辨率的视频图像处理设备、系统及方法，涉及图像处理技术领域。该视频图像处理设备包括：存储器，用以存储数据和指令；处理器，能够确定监控视频图像中的至少一个关注区域；以及在视频编码或传输前，对监控视频图像进行非均匀分辨率映射处理获得小尺寸视频图像，其中为所述关注区域分配更多的分辨率，同时保持映射后的每帧视频图像的矩形形状和大小以便编码压缩。本发明专利技术能够在已有带宽、硬件能力、录像存储代价的限制下，兼顾保证监控视野范围和提升视频分析、回放和预览时的警戒区局部视频分辨率。

Video Image Processing Equipment, System and Method Based on Local Non-uniform Resolution

The invention discloses a video image processing device, system and method based on local non-uniform resolution, and relates to the field of image processing technology. The video image processing device includes: a memory for storing data and instructions; a processor for determining at least one area of interest in the monitored video image; and a non-uniform resolution mapping process for the monitored video image to obtain a small-size video image before video coding or transmission, in which more resolution is allocated to the area of interest while maintaining the mapping. The rectangular shape and size of each frame of video image can be coded and compressed. The invention can guarantee the monitoring field of view and improve the local video resolution of the warning area in video analysis, playback and preview under the limitation of existing bandwidth, hardware capability and video storage cost.

【技术实现步骤摘要】
基于局部非均匀分辨率的视频图像处理设备、系统及方法
本专利技术涉及图像处理
，具体涉及一种基于局部非均匀分辨率的图像处理技术。
技术介绍
视频监控系统的使用中，用户常常一方面希望摄像头能够监控足够广阔的视野范围，监控画面能够显示较多的区域，另一方面又希望能够看清楚局部的细节，这就需要监控系统能够支持尽可能大的图像分辨率。但是视频监控系统实际能采用的图像分辨率受限于视频系统传输带宽、硬件处理能力、录像存储代价等的影响，往往不能采用监控摄像机的最大分辨率，而是只能采用较小的分辨率。因此，如果根据用户需求和系统性能限制，自适应控制视频分辨率，将会有助于提升监控系统的性能。现有的监控技术研究中提出了多种分辨率自适应控制的方法。比如：为了适应不同的传输带宽和硬件能力，一些监控视频系统采用了同时编码存储多种分辨率码流(主码流和次码流)的方法，根据硬件回放能力选用某一分辨率的编码码流进行回放。这一方法适用于视频录像系统硬件处理能力和视频传输带宽相较单独主码流处理时有一定余量的情况。在一些监控系统中，为了提高人脸等区域的清晰度，采用了人工智能的算法分析识别人脸等感兴趣区域，控制视频编码器对这些区域分配较多的码率，以减少这些区域因为视频压缩而引起的质量损失。但是如果原始输入图像分辨率不高，这一方法的效果就有限。有些监控应用压缩传输未矫正的鱼眼镜头画面，以保持画面中心的高分辨率，但是由于画面扭曲，视频压缩效率受影响，直接显示扭曲的鱼眼视频也会影响用户识别物体和判断距离关系，并且监控敏感区不一定位于画面中心，应用限制较多。当前，在监控应用中，周界防范(用户在视频背景画面上设置虚拟警戒线或虚拟警戒区)是一种常见的应用场景。一类应用时，用户一方面需要画面视野范围广大，能够包含一个或多个需要警戒的区域的全部范围，并且在警戒区域外留有足够的观察区域以便观察人或物进出警戒区的过程；另外一方面，用户对监控画面不同区域的清晰度需求是不同的，对局部警戒区域的兴趣远高于其他区域。特别是在警戒区域有事件发生时，用户有强烈的需求对警戒区域画面放大后进行预览或回放观看，但是如果监控视频的原始分辨率较低，即使图像进行放大，仍然无法看清细节。
技术实现思路
本专利技术的目的在于：克服现有技术的不足，提供了一种基于局部非均匀分辨率的视频图像处理设备、系统及方法。本专利技术提出的局部非均匀分辨率的监控视频图像处理设备，能够在已有带宽、硬件能力、录像存储代价的限制下，兼顾保证监控视野范围和提升视频分析、回放和预览时的警戒区局部视频分辨率。为实现上述目标，本专利技术提供了如下技术方案：本专利技术提供了一种基于局部非均匀分辨率的视频图像处理设备，其包括：存储器，用以存储数据和指令；处理器，在执行所述指令时用于，获取监控视频图像；确定监控视频图像中的至少一个关注区域；以及在视频编码或传输前，对监控视频图像进行非均匀分辨率映射处理获得小尺寸视频图像，其中为所述关注区域分配更多的分辨率，同时保持映射后的每帧视频图像的矩形形状和大小以便编码压缩。进一步，所述处理器在视频回放或预览时用于，进行分辨率反映射处理，使得小尺寸视频图像反映射回大尺寸显示图像时恢复图像比例关系，在所述关注区域局部放大时输出高分辨率的图像。进一步，所述处理器包括关注区域设置模块，其用于，基于手动输入在视频图像上生成至少一个关注区域；和/或，基于捕获的场景特征在视频图像上自动生成至少一个关注区域；和/或，编辑所述关注区域以重新配置视频图像的关注区域，所述编辑包括调整关注区域的范围、添加新的关注区域和/或删减已有关注区域。进一步，所述处理器在确定至少一个关注区域时还用于，设置关注区域的局部分辨率提升倍数m；在关注区域周围设置分辨率过渡区域，所述关注区域和过渡区域之外的像素的分辨率保持原系统设置的低分辨率形成低分辨率区域，低分辨率区域不受分辨率映射的影响；所述局部分辨率提升倍数m小于过渡区域与对应关注区域在各方向上的尺度比最小值。进一步，所述处理器在生成小尺寸视频图像时用于，对视频图像的不同区域使用不同的分辨率映射方式进行缩小，所述关注区域作为高分辨率区域使用缩小比例k缩放，所述低分辨率区域使用缩小比例L缩放，k＝L/m。进一步，所述过渡区域的映射方式，采用透射变换方法或多项式投影变换方法。本专利技术还提供了一种基于局部非均匀分辨率的视频图像处理系统，所述系统包括：监控摄像机，用以获取高分辨率的原始视频图像；图像处理设备，用以对前述原始视频图像进行局部非均匀分辨率映射处理，所述图像处理设备为权利要求1-6中任一项所述的设备；监控显示器，用以显示经所述图像处理设备处理后的视频图像。本专利技术还提供了一种基于局部非均匀分辨率的视频图像处理方法，包括如下步骤：获取监控视频图像；确定监控视频图像中的至少一个关注区域；在视频编码或传输前，对原始监控视频图像进行非均匀分辨率映射处理获得小尺寸视频图像，其中为所述关注区域分配更多的分辨率，并保持映射后的每帧视频图像的矩形形状和大小；对非均匀分辨率映射处理后的视频图像进行编码压缩。进一步，对原始监控视频图像进行非均匀分辨率映射处理获得小尺寸视频图像的步骤包括，设置关注区域的局部分辨率提升倍数m，在关注区域周围设置分辨率过渡区域，所述关注区域和过渡区域之外的像素的分辨率保持原系统设置的低分辨率形成低分辨率区域，所述局部分辨率提升倍数m小于过渡区域与对应关注区域在各方向上的尺度比最小值；对视频图像的不同区域使用不同的分辨率映射方式进行缩小，所述关注区域作为高分辨率区域使用缩小比例k缩放，所述低分辨率区域使用缩小比例L缩放，k＝L/m；所述过渡区域的映射方式采用透射变换方法或多项式投影变换方法。本专利技术还提供了一种基于透视变换的非均匀分辨率映射方法，包括如下步骤：步骤1，在原始图像上设定高分辨率区域和过渡区域边界；所述高分辨率区域和分辨率过渡区域为任意多边形的形状，两个多边形有相同的顶点数量n，记录图像上两个n边形顶点坐标和各边端点的对应关系；步骤2，对区域边界多边形顶点顺时针重排序；首先从过渡区域边界多边形的顶点中选择垂直方向位置最高的一个顶点A，有多个高度相同的顶点时选择其中水平位置在最左边的顶点，从A点出发，根据边的连通关系，按顺时针方向为过渡区域边界多边形和高分辨率区域边界多边形的各顶点排序；步骤3，对过渡区域和高分辨率区域的顶点两两配对；a.对过渡区域边界的顶点A，计算高分辨率区域边界各顶点是否与其满足可配对条件；b.从A点的配对候选点集中，选择一个高分辨率区域顶点与A点试配对，检测过渡区域各顶点对应的试配对点是否都满足可配对条件；存在不满足配对条件的试配对顶点时试配对失败，从A点的配对候选点集中去除这一高分辨率区域顶点；否则，试配对成功，将两个多边形各配对点的距离求和作为这一点的配对代价值；c.循环b步骤，直到完成A点的配对候选点集中所有候选点与A的试配对；d.比较与A点试配对成功的各点的配对代价值，选择代价最小的候选点作为最终的配对点，并按顺时针方向完成高分辨率区域顶点与过渡区域各顶点配对；步骤4，计算目标映射图上的各顶点坐标；步骤5，将过渡区域划分为若干映射四边形；步骤6，求解四边形映射和反映射矩阵；根据透视变换公式，对每组对应的映射四边形求解出唯一的映射和反映射矩阵。进一本文档来自技高网...

【技术保护点】
1.一种基于局部非均匀分辨率的视频图像处理设备，其特征在于包括：存储器，用以存储数据和指令；处理器，在执行所述指令时用于，获取监控视频图像；确定监控视频图像中的至少一个关注区域；以及在视频编码或传输前，对监控视频图像进行非均匀分辨率映射处理获得小尺寸视频图像，其中为所述关注区域分配更多的分辨率，同时保持映射后的每帧视频图像的矩形形状和大小以便编码压缩。

【技术特征摘要】
1.一种基于局部非均匀分辨率的视频图像处理设备，其特征在于包括：存储器，用以存储数据和指令；处理器，在执行所述指令时用于，获取监控视频图像；确定监控视频图像中的至少一个关注区域；以及在视频编码或传输前，对监控视频图像进行非均匀分辨率映射处理获得小尺寸视频图像，其中为所述关注区域分配更多的分辨率，同时保持映射后的每帧视频图像的矩形形状和大小以便编码压缩。2.根据权利要求1所述的设备，其特征在于：所述处理器在视频回放或预览时用于，进行分辨率反映射处理，使得小尺寸视频图像反映射回大尺寸显示图像时恢复图像比例关系，在所述关注区域局部放大时输出高分辨率的图像。3.根据权利要求1或2所述的设备，其特征在于：所述处理器包括关注区域设置模块，其用于，基于手动输入在视频图像上生成至少一个关注区域；和/或，基于捕获的场景特征在视频图像上自动生成至少一个关注区域；和/或，编辑所述关注区域以重新配置视频图像的关注区域，所述编辑包括调整关注区域的范围、添加新的关注区域和/或删减已有关注区域。4.根据权利要求1或2所述的设备，其特征在于：所述处理器在确定至少一个关注区域时还用于，设置关注区域的局部分辨率提升倍数m；在关注区域周围设置分辨率过渡区域，所述关注区域和过渡区域之外的像素的分辨率保持原系统设置的低分辨率形成低分辨率区域，低分辨率区域不受分辨率映射的影响；所述局部分辨率提升倍数m小于过渡区域与对应关注区域在各方向上的尺度比最小值。5.根据权利要求4所述的设备，其特征在于：所述处理器在生成小尺寸视频图像时用于，对视频图像的不同区域使用不同的分辨率映射方式进行缩小，所述关注区域作为高分辨率区域使用缩小比例k缩放，所述低分辨率区域使用缩小比例L缩放，k＝L/m。6.根据权利要求5所述的设备，其特征在于：所述过渡区域的映射方式，采用透射变换方法或多项式投影变换方法。7.一种基于局部非均匀分辨率的视频图像处理系统，其特征在于包括：监控摄像机，用以获取高分辨率的原始视频图像；图像处理设备，用以对前述原始视频图像进行局部非均匀分辨率映射处理，所述图像处理设备为权利要求1-6中任一项所述的设备；监控显示器，用以显示经所述图像处理设备处理后的视频图像。8.一种基于局部非均匀分辨率的视频图像处理方法，其特征在于包括如下步骤：获取监控视频图像；确定监控视频图像中的至少一个关注区域；在视频编码或传输前，对原始监控视频图像进行非均匀分辨率映射处理获得小尺寸视频图像，其中为所述关注区域分配更多的分辨率，并保持映射后的每帧视频图像的矩形形状和大小；对非均匀分辨率映射处理后的视频图像进行编码压缩。9.根据权利要求8所述的方法...

【专利技术属性】
技术研发人员：韦虎，何珊，孙德印，
申请(专利权)人：眸芯科技上海有限公司，
类型：发明
国别省市：上海,31