识别视频图像对象及应用视频图像注释的设备和方法技术

彼此相关联地存储可视特征信息和附加信息，所述可视特征信息是表示对象的可视特征的数字值的信息，以及所述附加信息是添加到对象上的信息。提取出作为视频图像的局部区域的图像数据的局部图像数据。产生所提取出的局部图像数据的可视特征信息。相互比较所提取出的局部图像数据的可视特征信息和所存储的对象的可视特征信息，以计算二者之间的相似性。根据所计算出的相似性，标识包含在视频图像数据中的对象。在显示装置上，按照与视频图像重叠的关系，显示由已标识对象的附加信息构成的注释。

【技术实现步骤摘要】
【国外来华专利技术】
本专利技术涉及一种用于将视频主题和主题信息彼此相关联的视频图像识别设备、一种视频图像注释应用设备和一种车辆制导系统。
技术介绍
近年来，通过使用GPS(全球定位系统)向用户提供有关其当前位置的信息的导航系统已经得到了广泛地应用，并被安装在汽车上等。这些导航系统具有向用户提供与其当前位置周围的环境有关的信息的功能。导航系统的用户终端在监视器等上、通过CG(计算机绘图)绘制的数字地图上显示所提供的信息。按照向用户提供与其当前位置周围的环境有关的信息的另一种处理，根据增广现实技术，作为重叠在实际视频图像上的信息来显示此信息。以下提及的非专利文献1公开了一种系统，利用捕获实际图像的图像捕获位置、图像捕获方向和包括作为视频主题的对象(如建筑物等对象)的纬度和经度在内的位置信息，显示与图像捕获方向上、位于距图像捕获位置预定距离内的对象有关的信息(对象的名称)，将其重叠在对象的实际图像上。(非专利文献1)Tomohiro Terada等人，“Construction of vehicle-mountedannotation system using augmented reality”，Technical Report ofIEICE，The Institute of Electronics，Information，andCommunication Engineers，Feb.2002，CQ2001-103，MVE2001-136.p.55-60。但是，非专利文献1所公开的系统显示与图像捕获方向上、位于距图像捕获位置预定距离内的对象有关的信息，而与对象是否被作为视频图像捕获无关。因此，即使对象实际上并未作为视频图像被捕获(例如，因为位于树木等的后面)，该系统仍然显示该图像的信息。
技术实现思路
本专利技术的目的是提供一种视频图像识别设备、一种视频图像注释应用设备和一种车辆制导系统，如果对象实际上并未作为视频图像被捕获，则不显示该对象的信息。根据本专利技术的一种视频图像对象识别设备包括输入装置，用于输入视频图像数据和图像捕获信息，所述图像捕获信息是用于确定将要捕获图像的区域的信息；存储装置，用于存储彼此相关的位置信息和可视特征信息，所述位置信息是表示对象的位置的信息，以及所述可视特征信息是表示对象的可视特征的数字值的信息；以及对象识别装置，用于识别包含在基于所述输入视频图像数据的视频图像中的对象，其中所述对象识别装置包括图像捕获空间估计装置，用于根据所述图像捕获信息，估计将要捕获图像的区域；匹配装置，用于匹配将要捕获图像的区域与由存储在所述存储装置中的对象的位置信息所表示的位置；局部视频图像提取装置，用于从所述输入视频图像中提取出或者是基于所述视频图像数据的所述视频图像的局部区域的视频图像数据或者是整幅视频图像的视频图像数据的局部视频图像数据；可视特征信息设置装置，用于产生所述局部视频图像数据的可视特征信息；相似性计算装置，用于相互比较所述局部视频图像数据的可视特征信息和存储在所述存储装置中的对象的可视特征信息，以计算出二者之间的相似性；以及判定装置，用于根据所述匹配装置的匹配结果和所计算出的相似性的结果，确定对象是否出现在基于所述输入视频图像数据的所述视频图像中。根据本专利技术的一种视频图像注释应用设备包括输入装置，用于输入视频图像数据和图像捕获信息，所述图像捕获信息是用于确定将要捕获图像的区域的信息；存储装置，用于存储彼此相关的位置信息、可视特征信息和附加信息，所述位置信息是表示对象的位置的信息，所述可视特征信息是表示对象的可视特征的数字值的信息，以及所述附加信息是添加到对象上的信息；以及对象识别装置，用于将包含在基于所述输入视频图像数据的视频图像中的对象与所述附加信息相关联，其中所述对象识别装置包括图像捕获空间估计装置，用于根据所述图像捕获信息，估计将要捕获图像的区域；匹配装置，用于匹配将要捕获图像的区域与由存储在所述存储装置中的对象的位置信息所表示的位置；局部视频图像提取装置，用于从所述输入视频图像中提取出或者是基于所述视频图像数据的所述视频图像的局部区域的视频图像数据或者是整幅视频图像的视频图像数据的局部视频图像数据；可视特征信息设置装置，用于产生所述局部视频图像数据的可视特征信息；相似性计算装置，用于相互比较所述局部视频图像数据的可视特征信息和存储在所述存储装置中的对象的可视特征信息，以计算出二者之间的相似性；以及判定装置，用于根据所述匹配装置的匹配结果和所计算出的相似性，标识包含在基于所述输入视频图像数据的所述视频图像中的对象，并将所标识出的对象与存储在所述存储装置中的附加信息彼此相关联。所述对象识别装置可以包括出现概率计算装置，用于根据将要捕获图像的区域和存储在所述存储装置中的对象的位置信息，计算作为所述视频图像中包含对象的概率的出现概率，以及所述判定装置可以根据所计算出的出现概率和相似性，标识包含在所述视频图像中的对象，并将所标识出的对象与存储在所述存储装置中的附加信息彼此相关联。利用此结构，未将出现在将要捕获图像的区域中、但作为视频图像被捕获的概率较低的对象与附加信息相关联。因此，当按照与视频图像重叠的关系显示注释时，并不显示并未作为视频图像被捕获的对象的注释。所述局部视频图像提取装置可以根据存储在所述存储装置中的对象的位置信息，标识对象被定位于所述视频图像内的范围，并从所标识的范围中提取局部视频图像数据。利用此结构，可以限制从中提取局部视频图像数据的范围，从而降低了由局部视频图像提取装置执行的数据处理量。所述对象识别装置可以包括候选对象搜索装置，用于根据将要捕获图像的区域和位置信息，提取出作为出现在将要捕获图像的区域中的对象的候选对象，以及所述相似性计算装置可以相互比较局部视频图像数据的可视特征信息和存储在所述存储装置中的候选对象的可视特征信息，以计算二者之间的相似性。利用此结构，可以减少与局部视频图像数据的可视特征信息进行比较以计算相似性的对象的数量，从而降低了由相似性计算装置执行的数据处理量。所述局部视频图像提取装置可以根据存储在所述存储装置中的候选对象的位置信息，标识对象被定位于所述视频图像内的范围，并从所标识的范围中提取局部视频图像数据。利用此结构，能够限制从中提取局部视频图像数据的范围，从而降低了由局部视频图像提取装置执行的数据处理量。所述视频图像注释应用设备还可以包括显示装置，用于视频图像；以及显示位置确定装置，用于指定显示与包含在所述视频图像中的对象相关联的附加信息的位置，并用于显示重叠在所述视频图像上的附加信息。利用此结构，可以彼此相关联地显示视频图像和作为附加信息的注释。所述视频图像注释应用设备还可以包括注释结果存储装置，用于彼此相关联地存储附加信息和包含在所述视频图像中的对象。利用此结构，可以根据已存储附加信息与包含在视频图像数据中的对象之间的关联关系来搜索视频图像数据。所述局部视频图像提取装置可以具有根据所提取出的局部视频图像数据、任意改变视频图像区域的形状和尺寸的功能。利用此结构，能够提取出包含对象的局部视频图像数据，而与包含在所述视频图像数据中的对象的形状无关。所述局部视频图像提取装置可以在匹配以下条件之一或其组合的视频图像区域中提取局部视频图像亮度信息、颜色信息、形状信本文档来自技高网...

【技术保护点】
一种视频图像对象识别设备，包括：输入装置，用于输入视频图像数据和图像捕获信息，所述图像捕获信息是用于确定将要捕获图像的区域的信息；存储装置，用于存储彼此相关的位置信息和可视特征信息，所述位置信息是表示对象的位置的信息，以及所 述可视特征信息是表示对象的可视特征的数字值的信息；以及对象识别装置，用于识别包含在基于所述输入视频图像数据的视频图像中的对象，其中所述对象识别装置包括：估计装置，用于根据所述图像捕获信息，估计将要捕获图像的区域； 匹配装置，用于匹配将要捕获图像的区域与由存储在所述存储装置中的对象的位置信息所表示的位置；局部视频图像提取装置，用于从所述输入视频图像中提取出或者是基于所述视频图像数据的所述视频图像的局部区域的视频图像数据或者是整幅视频图像的视 频图像数据的局部视频图像数据；可视特征信息设置装置，用于产生所述局部视频图像数据的可视特征信息；相似性计算装置，用于相互比较所述局部视频图像数据的可视特征信息和存储在所述存储装置中的对象的可视特征信息，以计算出二者之间的相似 性；以及判定装置，用于根据所述匹配装置的匹配结果和所计算出的相似性的结果，确定对象是否出现在基于所述输入视频图像数据的所述视频图像中。...

【技术特征摘要】
【国外来华专利技术】...

【专利技术属性】
技术研发人员：高桥祐介，平田恭二，
申请(专利权)人：日本电气株式会社，
类型：发明
国别省市：JP[日本]