机器视觉特征跟踪系统技术方案

描述了机器视觉特征跟踪系统。各技术和构造能定位视频的帧中的特征。跟踪模块可至少部分基于视频的帧和先前特征位置图来产生候选特征位置图。特征可对应于视频的该帧的至少一些图像数据。更新模块可至少部分基于候选特征位置图来确定候选特征区域，并通过将视频的该帧中测试区域的直方图与视频的先前帧中对应区域的直方图进行比较来定位候选特征区域处的特征。在一些示例中，至少部分基于候选特征区域来确定测试区域。图像传感器可提供视频的帧的一个或多个。被跟踪的特征表示可被显示。

【技术实现步骤摘要】

本申请涉及跟踪系统，尤其涉及机器视觉特征跟踪系统。
技术介绍
用于自动地标识数字图像和视频中的对象或特征的机器视觉技术被用于各种各样的使用。视频帧中的可见特征(诸如面部或车牌)可移动、旋转或变得有阴影或以其他方式被遮挡，例如随着特征(例如对象)的移动在视频的多个帧上被捕捉。这样的事件可减少机器视觉算法(诸如对象定位、朝向检测、人脸检测和跟踪)的准确性。
技术实现思路
本专利技术描述了用于在视频的多个帧上跟踪特征的系统、方法和计算机可读介质。如本文中使用的，“跟踪”指在后续帧中确定在先前帧中检测到的特征的位置。在一些示例中，计算系统可至少部分基于视频的帧和先前特征位置图来产生候选特征位置图。计算系统可至少部分基于候选特征位置图来确定候选特征区域。计算系统接着可通过将视频的帧中测试区域的直方图与视频的先前帧中对应区域的直方图进行比较来定位视频的帧中候选特征区域处的特征。根据本文描述的示例技术，测试区域可至少部分基于候选特征区域来被确定。根据本文描述的示例技术，特征可在来自图像传感器的视频上被跟踪并且被跟踪的特征的指示可例如经由电子显示被呈现。提供概述以便以简化形式介绍将在以下详细描述中进一步描述的一些概念的选集。本
技术实现思路
不旨在标识所要求保护的主题的关键或必要特征，也不旨在用于帮助确定所要求保护的主题的范围。例如术语“技术”可指代上述上下文和通篇文档中所准许的系统、方法、计算机可读指令、模块、算法、硬件逻辑和/或操作。附图说明在各附图中，使用相同的标号来指示相同的特征和组件。附图不必缩放。图1是描绘了用于实现本文描述的视频中的特征跟踪的示例环境的框图。图2是其中特征被跟踪的视频的示例帧的图形表示。图3显示了根据本文描述的特征跟踪的一示例的图像数据区域的示例直方图。图4是描绘了在特征跟踪期间的示例模块交互的数据流图。图5是示出用于跟踪视频帧中的特征的示例过程的流程图。图6是示出用于跟踪并检测视频帧中的特征的示例过程的流程图。图7是示出用于跨可见度减低来跟踪视频帧中的特征的示例过程的流程图。图8是描绘了根据本文描述的各示例的被配置成参与特征跟踪的示例计算设备的框图。具体实施方式概览本文描述的示例提供跟踪数字视频中的特征的技术和构造。这些技术可使得能够用增加的速度、增加的精确度、减低的计算时间和/或减低的存储器要求来实现跨视频的多个帧的特征跟踪。该跟踪还可允许附加的技术被执行，诸如遮挡或突出显示视频中的特征(诸如面部)或选择视频的相关部分以供进一步分析，例如车牌的字符识别。本文描述的一些示例提供相比于传统的跟踪算法而言改进的性能。一些现有的方案重新检测视频的每个帧中的特征。本文的一些示例检测多个帧的分组中一个帧中的特征并接着在帧之间跟踪特征，从而减少对跟踪的计算需求。一些示例允许即使在特征不出现在一些帧的情况下(例如，因为它们被遮挡在其他特征后面)依然跟踪它们。如本文所使用的，术语“视频”指的是数字图像的时间序列。图像可在时间方面被规律地间隔(例如，每秒29.97、30或60帧(fps))或可在时间方面被不规律的间隔。视频可按例如未被压缩的形式或被压缩的形式被存储和操纵。示例压缩技术可包括但不限于，在可移植网络图形(PNG)、联合图像专家组(JPEG)、运动JPEG和运动图片专家组(MPEG)标准中描述的那些。用于特征跟踪的一些示例场景和示例技术在以下关于附图的描述中被更加详细地呈现。说明性环境图1显示了特征跟踪系统的各示例可在其中操作的或诸如以下描述的特征跟踪方法可在其中被执行的示例环境100。在示出的示例中，环境100的各个设备和/或组件包括计算设备102，其被描绘为服务器计算机。计算设备102表示可接收和处理视频内容的任何类型的设备。作为示例而非限制，计算设备102可被实现为启用因特网的电视机、电视机机顶盒、游戏控制台、台式计算机、膝上型计算机、平板计算机或智能电话。不同的设备或不同类型的设备可具有对特征跟踪数据的不同使用。例如，机器人或工业机器的控制者可使用来自它们的工作场所的视频的特征跟踪信息来确定工作件在移动或工步期间的位置。例如在公共空间中操作的监视或其他视频记录系统可使用特征跟踪数据来在视频中突出显示可疑对象或遮挡人的面部以保护他们的隐私。在所示示例中，计算设备102包括被描绘为相机的图像源104或通信地与其连接。图像源104可包括一个或多个计算设备或其他被配置成提供视频帧106的系统。在示出的示例中，图像源104提供场景108的视频。视频具有多个视频帧106。场景108包括主体110，在这个示例中为一人。该示例场景108是出于说明的目的，而不是限制。在一些示例中，计算设备102或图像源104可包括例如被配置成捕捉视频帧106或以其他方式提供视频帧106或能被处理成视频帧106的数据的一个或多个传感器112。例如，图像传感器112可被配置成提供具有多个帧106的视频。示例图像传感器可包括智能电话前向和后向相机、光传感器(例如，CdS光敏电阻器或光敏晶体管)、照片成像器(例如，电耦合器件(CCD)、互补金属氧化物半导体(CMOS)传感器等)、视频成像器(例如，CCD或CMOS)、指纹读取器、视网膜扫描仪、虹膜扫描仪、计算机射线照相扫描仪，等等。一些示例传感器112可包括可见光图像传感器(例如，λ∈[400nm(纳米),700nm])或红外光图像传感器(例如，λ∈[700nm,15μm]或λ∈[700nm,1mm])。一个或多个传感器112中的各个可被配置成输出对应于至少一个物理特性(例如，设备的环境的物理特性)的传感器数据，诸如环境光或场景图像或视频帧。在(诸)视频帧106的一个或多个中表示主体110的图像数据具有特征114，在这个示例中为人的面部。除了面部之外，其他示例特征可包括但不限于，标识记号(例如车辆上的车牌或停车证、船体或帆上的船注册标记、飞机尾翼编号(例如，“N38290”或“B-8888”))、显示在建筑物或邮箱上的街道地址号码、衣物上的图案(例如，卡通脸、奇形怪状的图案、或体恤上的企业或政府标志)、或具有可容易地从场景108的背景中区分的颜色或图案的衣物、配饰或车辆，例如红色的雨伞、黑的帽子或条纹裙子。此处的各个方面跨多个视频帧106来跟踪面部或其他特征114。计算设备102包括至少一个处理器116和被配置成存储例如被处理的(诸)视频帧(106)或其他视频数据的存储器118。存储器118还可存储以下中的一个或多个：被存储在存储器118中并可在处理器116上执行的检测组件120、跟踪组件122和报告组件124。组件120、122或124可包括例如存储在计算机可读介质(诸如计算机存储介质(以下讨论))上并在其上具有计算机可执行指令的模块。示例计算设备102的细节可代表其他计算设备102或图像源104。然而，计算设备102或图像源104中的各个可包括附加的或替换的硬件和/或软件组件。检测组件120(或它的模块，本文中都如此)可被配置成在一个或多个视频帧106中定位特征114(例如，面部)。跟踪组件122可被配置成跨多个视频帧106来跟踪特征114例如以确定给定特征如何在两个连续的帧之间移动、或基于阴影、遮挡或特征的可见度方面的其他改变来激活本文档来自技高网...

【技术保护点】
一种系统，包括：处理单元；可操作地耦合到处理器的计算机可读介质(CRM)；跟踪模块，所述跟踪模块被存储在所述CRM中并可由所述处理单元执行来至少部分基于视频的一帧以及先前特征位置图来产生候选特征位置图，其中所述候选特征位置图指示一个或多个特征的候选位置并且所述特征中的各个特征对应于所述视频的所述帧的至少一些图像数据；以及更新模块，所述更新模块被存储在所述CRM中并可由所述处理单元执行来：至少部分基于所述候选特征位置图来确定候选特征区域；以及通过将所述视频的所述帧中的测试区域的直方图与所述视频的先前帧中的对应区域的直方图进行比较来定位所述视频的所述帧中所述候选特征区域处的特征，其中所述测试区域是至少部分基于所述候选特征区域来确定的。

【技术特征摘要】
1.一种系统，包括：处理单元；可操作地耦合到处理器的计算机可读介质(CRM)；跟踪模块，所述跟踪模块被存储在所述CRM中并可由所述处理单元执行来至少部分基于视频的一帧以及先前特征位置图来产生候选特征位置图，其中所述候选特征位置图指示一个或多个特征的候选位置并且所述特征中的各个特征对应于所述视频的所述帧的至少一些图像数据；以及更新模块，所述更新模块被存储在所述CRM中并可由所述处理单元执行来：至少部分基于所述候选特征位置图来确定候选特征区域；以及通过将所述视频的所述帧中的测试区域的直方图与所述视频的先前帧中的对应区域的直方图进行比较来定位所述视频的所述帧中所述候选特征区域处的特征，其中所述测试区域是至少部分基于所述候选特征区域来确定的。2.如权利要求1所述的系统，其特征在于，所述更新模块可由所述处理单元进一步执行来：至少部分基于所述候选特征区域或所述测试区域来确定第二测试区域；以及通过将所述视频的所述帧中所述第二测试区域的直方图与所述视频的所述先前帧中对应区域的直方图进行比较来定位所述视频的所述帧中所述候选特征区域处的特征。3.如权利要求1所述的系统，其特征在于，所述更新模块可由所述处理单元进一步执行来至少部分基于所述候选特征区域和所述测试区域之间的空间关系来确定所述测试区域。4.一种方法，包括：检测视频的多个帧的第一帧中的特征，所述视频的多个帧包括所述第一帧和之后的第二帧；确定所述第一帧的对应于被检测的特征的被检测的第一帧特征区域；至少部分基于所述第一帧、所述第二帧以及所述被检测的第一帧特征区域来确定所述第二帧的被跟踪的候选第二帧特征区域；将所述被跟踪的候选第二帧特征区域的直方图与所述被检测的第一帧特征区域的直方图进行比较；以及响应于指示至少阈值程度的相似性的比较，将所述被跟踪的候选第二...

【专利技术属性】
技术研发人员：熊志伟，W·曾，苏驰，
申请(专利权)人：微软技术许可有限责任公司，
类型：发明
国别省市：美国;US