在组合使用物理传感器和图形识别的视频流中的图像插入制造技术

在现场视频插入系统中，一个或多个事件摄像机包括检测摄像机的变焦、聚焦、摇摄和倾斜的传感器。每个摄像机的传感器数据传给观场视频插入系统，以粗略地指示出视频场景中的插入位置。传感器和标记数据基本上替代了传统的图形识别实时视频插入系统的搜寻模式。准确地确定最终插入位置要使用实际图像的特征或纹理分析。这种分析方法通过比较视频帧内的特征或纹理结构的位置和一公用的参考图像或插入位置及其周边位置的前一幅图像的对应位置来实现。（*该技术在2017年保护过期，可自由使用*）

【技术实现步骤摘要】
本申请涉及序列号为60/038,143的美国临时申请，其申请日为1996年11月27日，题为“在组合使用物理传感器和图形识别的视频流中的图像插入”。本申请也涉及下列共有的同时待审申请序列号08/563,598，申请日1995年11月28日，题为“将静态和动态图像插入现场视频节目中的系统与方法”；序列号08/580,892，申请日1995年12月29日，题为“视频插入系统的跟踪场景运动的方法”；序列号08/662,089，申请日1996年6月12日，题为“使用以带有全盛的共用参考图像的自适应闭锁的实时插入视频的系统和方法”；和序列号60/031,883，申请日1995年11月27日题为“使用持续的、选择的图像纹理结构模板进行摄像机跟踪”。上述的申请在此作为参考文献。本专利技术涉及跟踪图像帧以便在视频图像中插入实际标记的系统和方法。用以插入电子图像到现场视频信号的电子设备，如Rosser的专利U.S.Patent 5,264,933等，已经被开发和应用于把广告和别的标志插入到主要为体育节目的广播中。即使在原始图像被缩小、全景化或进行其它的大小和透视的改变时，这些设备能无缝隙和实时地把商标和别的标记插入到原始图像中。别的例子包括Hanna的美国专利No.5,488,675和Kreitman的美国专利No.5,491,517等。逼真地在场景中插入标志在具体实践中是重要的但又是困难的问题。一个问题是一般观察者的眼睛对于物体从一场到另一场的相对位置的小变化都很敏感。由实验可知，哪怕是插入如NTSC的像素的1/10大小的标识，观察者也会察觉。因此，在广播环境中放置并高精度地维持插入标志是使视频插入技术能用于商业的关键。广播环境包括图像噪声、突发的摄像机的快速移动、使图像变成模糊的分块的零星的运动的物体、由于外界自然条件影响或操作者的调节及电视信号的垂直隔行扫描导致的镜头特性和光强的改变而引起的图像畸变。在现有技术中，通常采用两种不同的方法自动跟踪图像运动。第一种方法使用帧的图形识别并检查图像本身，要么使用相关或差分技术来跟踪图像序列的已知的界标(landmark)，要么使用众所周知的光流技术计算运动。(参照Horn,B.K.P.和Schunck,B.G.的“确定光流”(“Determining Optical Flow”),Artificial Intelligence,第185-203页(1981)。界标可能是暂时的或永久的，可能是图像的自然部分或是人工加入的。测出界标的形状和方位的改变，并用于插入要求的标志。在D.W.Crain的美国专利No.4,084,184中提到第二种方法，使用放置于摄像机上的传感器提供焦距、方位角和高度信息。这些传感器在给定的摄像机的视场内提供相似的界标位置数据。在Rosser等开发的图形识别型的图像插入系统中，系统工作于两个不同的模式。第一个是搜索模式，此时搜索每个新来的现场视频帧以便检测和确认特定的目标图像。第二个是跟踪模式，此时系统已知在前一视频帧中有目标图像，系统还知道前一帧相对于预定义的参考坐标系的位置和方向。并进而参照预定义的参考坐标系跟踪和更新目标图像。搜寻模式包括鉴别特定图像的图形识别技术。使用图形识别获得位置数据而不是摄像机传感器给系统很大的灵活性，因为这允许现场视频插入系统在视频广播链中的任意点做插入操作。例如可在节目中心站做插入操作，节目中心站可接收到世界各地的演播室和舞台的视频节目。可通过卫星或电缆等已有的技术接收各个节目的输入。一旦插入加上后，视频可通过卫星或电缆送回源广播站或直接播出给观众。可是图形识别搜寻和跟踪系统在某些场合难于实现，并易于受到现场视频插入系统的操作错误的影响。本受让人，Princeton Video Image,Inc.,已经为许多如棒球、足球、英式足球和网球等场合设计出功能强大的搜寻方法。但是，这些方法由于时间和费用的限制而不适合用于其它类型的场合。在场面或事件在几小时或甚至几天内发生重大变化时使用图形识别的方法是很困难的。这是因为由于场景图像并不是一固定集而很难得到参考图像。此时，使用配置在摄像机上的一个或多个传感器得到目标数据是更好的方法。仅仅依靠摄像机传感器系统的缺点详述如下。在棒球和足球节目现场测试中，前述的系统遇到了以下具体的主要问题1．摄像机运动在如足球或棒球这样的典型的运动节目中，要从几百码远处用长焦距摄像机拍摄特写镜头。这些运动节目含有突发动作，即击球和踢球，导致节目突然从安静的场景切换到快速运动场景。因为使用了长镜头，得到的图像特性使对运动跟踪变得很困难。例如，图像的运动速度可达到每场10个像素。因为像素搜索窗口小于10乘10像素，这将会超出此搜索范围。并且，图像会变得发散和严重的运动模糊，这意味着在静止图像中一像素宽的线条将模糊成10像素宽。这样，跟踪窄线条的系统突然发现失去了匹配或认为摄像机发生了变焦而实际上仅发生了一快速摇摄。运动模糊引起模式纹理以及亮度级和色彩的改变，所有这些都是使用基于图形识别的系统存在的问题。即使小至两场一次的摄像机运动也将导致局部和大范围面积的图像改变。图像的亮度级和颜色也受摄像机的运动的影响。2．运动目标体育运动场景有许多的参与者，他们的一般运动在一定程度上可预测，但是在任意时刻的行为是难以预料的。这意味着任何对实际体育运动节目进行自动跟踪的系统不得不处理图像的各部分的突发和不可预测的组合变化。并且，比赛中竞赛者穿着不同的服装和作出不同的姿势，这意味着试图在场景中采用单纯的几何模式必须能够处理大量的相同模式的发生。3．镜头失真所有摄像机的镜头存在一定程度的几何畸变，当物体向图像边缘运动时，该畸变将改变物体在图像中的相对位置。当要求1/10像素的精确度时这会引起问题。4．信号中的噪声实际的电视信号存在噪声，尤其当使用电子枪的摄像机来记录低光强的场景时，例如晚上的棒球比赛。当使用依靠标准的相关识别技术时，因为要匹配的是模式形状而不考虑信号的强度，这种噪声造成严重的破坏。在数以万计场的视频(或一典型的三小时节目)中，因为噪声形状是随机的，有可能将真实图形误作噪声图形，这是一个严重问题。5．逐场的隔行扫描NTSC和PAL制式的电视图像按共同构成一帧图像的两个垂直隔行的场传输。这意味着电视信号不是单一图像流，而是两个极其相关但是有细微差别的图像流。当观看窄的水平线条时，这问题尤其引人注意，因为线条会在一场非常清楚但是另一场会不同。6．亮度和色度变化户外节目对亮度和色度的变化尤其敏感。典型的是夏夜的棒球比赛，开始于明亮的白天，结束于漆黑的夜晚。在此情况下，典型的亮度参数的变化超过2。并且自然和人工的照明变化会引起物体的颜色的变化。例如，在佛罗里达的Pro Player Park，墙体在自然光照射下呈现兰色，而在人工照明时为绿色。7．设置差异每次的摄像机的放置会有小的但可察觉的差别。例如，摄像机的倾角通常会在正负1％的范围内变化，这不会被观众立即察觉。但是，这表示有正负7像素的变化，对于测量8乘8像素的典型模板会出现问题。使用摄像机传感器有利于合理地判断出使用的摄像机和它正指向何处以及摄像机正以何比例显示图像。虽然由于固有的机械不准确性，如齿轮间隙等，摄像机传感器数据会不准确，但是不会很大，本文档来自技高网...

【技术保护点】
在用至少一台摄像机扫描的视频图像序列中进行逐场运动跟踪的方法，该方法包含以下步骤：ａ）．建立一个代表有多个界标的参考矩阵的理想ｘ和ｙ坐标的矩阵，其中每个编列有独特的ｘ和ｙ坐标；ｂ）．映射当前图像的ｘ和ｙ坐标到所述参考矩阵中的所述ｘ和 ｙ坐标；ｃ）．获取表示摄像机位置和方向的摄像机传感器数据；ｄ）．使用所述摄像机传感器数据预测所述界标坐标（ｘ′，ｙ′）的下一个位置；其中通过相加（ｉ）从所述摄像机传感器数据计算出的位于界标处的场到场之间的差值，和（ｉｉ）前面确定 的界标位置（ｘ，ｙ），使得由于两连续场间的变化引起的预测误差最小化。

【技术特征摘要】
...

【专利技术属性】
技术研发人员：罗伊J罗瑟，谭义，斯基普肯尼迪，吉姆杰弗斯，达雷尔迪奇科，龚锡民，
申请(专利权)人：普林斯顿视频图像公司，
类型：发明
国别省市：US[美国]