图像差检测方法和装置、场景转换检测方法和装置、以及图像差分检测方法和装置制造方法及图纸

本发明专利技术提供图像差检测方法和装置、场景转换检测方法和装置、以及图像差分检测方法和装置。从２个图像数据中提取其一部分作为解析对象区域的数据（Ｓ７０２、Ｓ７０４），具有根据解析对象区域的图像特征值的差来检测２个图像之间的图像差的图像差检测步骤（Ｓ７０７），２个图像数据的解析对象区域具有彼此相同的大小。在没有检测出图像差的情况下，在区域提取步骤中，追加提取图像数据中此前未包含在解析对象区域中的部分的数据的一部分或全部（Ｓ７０４），由此，可以扩大解析对象区域（Ｓ７０７）。能够高速进行图像和视频的场景转换。

【技术实现步骤摘要】
【国外来华专利技术】
本专利技术涉及能够检测图像差或视频的场景转换的场景转换检测方法 和装置。 .
技术介绍
以往，在记录有图像或视频的装置中，为了检测任意2个图像的有 意差或视频场景的变化点，必须通过手动输入操作选出图像和视频，利 用肉眼确认彼此的差异，需要很多的时间和劳力。为了消除这种问题，提出了用于发现视频的场面转换场景(以后称 为场景转换)的方法(例如参照专利文献l、 2和3)。在专利文献l中示出如下方法在进行编码的编码器的前级的预视频信号处理装置中，计算在时间上前后两个视频的直方图的各等级的差的绝对值的合计，在 计算出的合计超过规定阈值的情况下，判定为是场景转换。并且，在专利文献2中示出如下方法读出存储在HDD等存储介质中的视频数据，来判定场景转换。并且，在专利文献3中示出如下方法将检测场景转换的图像数据分割为块单位，以块单位来检测场景转换。专利文献l:日本特开2004-282318号公报(第7页、图2) 专利文献2:日本特开2002-064823号公报(第5页、图1 )' 专利文献3:日本特开平5-284369号公报(第4页、图l) 但是，专利文献1所示的方法是通过设于编码器前级的预视频信号 处理装置来检测场景转换的方法，所以，无法应用于从视频解码器到编 码器的结构为一体的编码器芯片组，即无法应用于具有不向外部输出场 景转换提取结果的单元的视频记录装置。并且，即使在编码器芯片组输 出场景转换提取结果的情况下，每当所使用的编码器芯片组的种类发生12变化，所以，存在每当编码器芯片组的 种类发生变化时都需要进行视频记录装置的调整的问题。并且，专利文献2所示的方法是根据压縮并记录在HDD上的视频流来检测场景转换的方法，所以，在记录处理完成后，需要离线进行花费 很多时间的处理，并不实用。并且，专利文献3所示的方法通过将场景转换的区域分割为多个块，从而能够降低处理单位的负荷，但是，为了检测场景转换，必须对全部 块执行处理，无法縮短场景转换的处理时间。
技术实现思路
因此，本专利技术是为了解决上述现有技术的课题而完成的，其目的在 于，提供能够迅速进行图像差或视频的场景转换检测的方法和装置。本专利技术的图像差检测方法检测2个图像数据的差，其特征在于，该图像差检测方法具有以下步骤区域提取步骤，在该步骤中，从2个图像数据中提取其一部分作为解析对象区域的数据；以及图像差检测步骤， 在该步骤中，根据所述2个图像数据的通过所述区域提取步骤提取出的 解析对象区域的图像特征值的差，来检测所述2个图像之间的图像差， 所述2个图像数据的解析对象区域彼此具有相同的大小。根据本专利技术，能够迅速检测图像的差或视频的场景转换。附图说明图1是示出本专利技术的实施方式1的场景转换检测装置的结构的框图。 图2是示出实施方式1的场景转换提取装置的区域分割的一例的图。 图3是示出与图2所示的区域分割对应的处理歩骤的流程图。 图4是示出实施方式1的动作的流程图。图5 (a) (d)是示出在实施方式2中使用的将检测对象区域的数量作为变量的权重函数的例子的图。图6 (a) (d)是示出在实施方式2中使用的针对每个检测对象区 域设定的权重函数的例子的图。图7是示出实施方式3的场景转换提取装置的结构的框图。图8是实施方式3的所分割的区域和对应区域的直方图的说明图。图9是示出实施方式3的动作的流程图。图10是示出实施方式4的场景转换提取装置的结构的框图。图11是示出实施方式4的动作的流程图。图12是示出实施方式5的场景转换提取装置的结构的框图。图13是示出实施方式5的动作的流程图。图14是示出实施方式6的场景转换提取装置的结构的框图。图15是示出实施方式6的动作的流程图。图16是示出本专利技术的实施方式7的场景转换检测装置的结构的框图。图17是示出实施方式7的场景转换提取装置的区域分割的一例的图。图18是示出实施方式7的动作的流程图。 图19是示出实施方式7的解析对象区域的选择方法的图。 图20是示出实施方式7的解析对象区域的选择方法的图。 图21是示出在实施方式7中并行进行各图像的场景转换处理时的主 任务的流程图。图22是示出在实施方式7中并行进行各图像的场景转换处理时的针 对图像A的处理FA的流程图。图23是示出在实施方式7中并行进行各图像的场景转换处理时的针 对图像B的处理FB的流程图。图24是示出本专利技术的实施方式8的场景转换提取装置的结构的框图。图25 (a)和(b)是示出实施方式8的针对连续的视频数据在部分 区域中进行场景转换检测时使用的数据的图。图26是示出在实施方式8中用于决定追加图像区域的处理的流程图。图27是示出本专利技术的实施方式9的场景转换提取装置的结构的框图。图28是示出实施方式9的动作的流程图。图29是示出实施方式9的场景转换提取装置的变形例的框图。标号说明1:场景转换检测装置；2:场景转换控制部；3:视频输入部；4: 开关；5a、 5b:帧存储器；6a、 6b:区域提取部；7:区域控制部；8a、 8b:直方图生成部；9:差分提取部；10:场景转换判定部；11:直方图 缓存器；12:部分区域直方图生成部；13:累积差异值缓存器；14:编 码流输入部；15:解码器；16:解码视频缓存器；17;阈值设定部；103:视频输入部；106a、 106b:区域提取部；107a、 107b:区域选择部；108a、 108b:读出控制部；llla、 lllb:流缓存器；112a、 112b,.解码器；113:HDD; 118:阈值设定部；119:图像选择部。具体实施例方式实施方式1图1是示出本专利技术的实施方式1的场景转换检测装置1的结构的框 图。本实施方式所示的场景转换检测装置1如图1所示，从未图示的硬盘、光盘、或视频信号线等视频数据的供给源，通过视频输入部3输入有视频数据p。场景转换检测装置1具有开关4;第1和第2帧存储器5a、 5b; 第1和第2区域提取部6a、 6b;第l和第2直方图生成部8a、 8b;差分提取部9;场景转换判定部10;场景转换控制部2;以及区域控制部7。场景转换控制部2检测场景转换检测动作的开始、结束、以及场景 转换判定部10的判定结果(场景转换提取结果)Nse，虽然没有图示， 但是在存储器中进行保存，或者控制将来自视频输入部3的视频数据P 切换至帧存储器5a或帧存储器5b的开关4。帧存储器5a、 5b分别具有视频数据的至少一个画面、即l帧的数据区域，临时存储l帧的视频数据。开关4以1帧为单位，将作为检测场景转换的对象的2个视频信号的输入分别切换至帧存储器5a或帧存储器5b。下面，用PA表示通过开 关4划分而保存在帧存储器5a侧的视频数据，另一方面，用PB表示通过 开关4划分而保存在帧存储器5b中的视频数据。区域提取部6a、 6b提取分别存储在帧存储器5a、 5b中的1帧的视 频数据的一部分，作为解析对象区域的视频数据Pea、 Peb。下面，有时 将某个区域的视频数据的提取简称为区域的提取。区域控制部7根据场景转换控制部2的指示，设定视频数据的1帧 的全部区域中被区域提取部6a、 6b提取出的区域。在本实施方式中，如后所述，针对由区域提取部6a、 6b提取出的区 域的图像数据，由直方图生成部8a、 8b生成直方图，由差分提取部9提 取两个直方图的差分，本文档来自技高网...

【技术保护点】
一种图像差检测方法，该方法检测２个图像数据的差，其特征在于，该图像差检测方法具有以下步骤：　区域提取步骤，在该步骤中，从２个图像数据中提取其一部分作为解析对象区域的数据；以及　图像差检测步骤，在该步骤中，根据所述２个图像数据的通 过所述区域提取步骤提取出的解析对象区域的图像特征值的差，来检测所述２个图像之间的图像差，　所述２个图像数据的解析对象区域彼此具有相同的大小。

【技术特征摘要】
【国外来华专利技术】JP 2007-5-21 134017/2007;JP 2007-8-31 225154/20071.一种图像差检测方法，该方法检测2个图像数据的差，其特征在于，该图像差检测方法具有以下步骤区域提取步骤，在该步骤中，从2个图像数据中提取其一部分作为解析对象区域的数据；以及图像差检测步骤，在该步骤中，根据所述2个图像数据的通过所述区域提取步骤提取出的解析对象区域的图像特征值的差，来检测所述2个图像之间的图像差，所述2个图像数据的解析对象区域彼此具有相同的大小。2. —种图像差检测方法，该方法检测2个图像数据的差，其特征在于，该图像差检测方法具有以下步骤区域提取步骤，在该步骤中，从2个图像数据中提取其一部分作为 解析对象区域的数据；以及图像差检测步骤，在该步骤中，根据所述2个图像数据的通过所述 区域提取步骤提取出的解析对象区域的图像特征值的差，来检测所述2 个图像之间的图像差，在通过所述图像差检测步骤未能检测出图像差的情况下，在所述区 域提取步骤中，提取所述图像数据中此前未包含在解析对象区域中的部 分的数据的一部分或全部而进行追加，由此，扩大解析对象区域，在所述图像差检测步骤中，针对扩大后的解析对象区域再次进行图 像差的检测。3. —种场景转换检测方法，该方法检测视频的场景转换，其特征在 于，该场景转换检测方法具有以下步骤区域提取步骤，在该步骤中，从2个帧的视频数据中提取作为解析 对象的部分区域；以及场景转换检测步骤，在该步骤中，根据所述2个帧的通过所述区域 提取步骤提取出的部分区域的视频特征值的差，来检测所述2个帧之间 的场景转换，在通过所述场景转换检测步骤未能检测出场景转换的产生的情况 下，在所述区域提取步骤中，从此前未作为解析对象的区域中新提取区 域进行追加，由此，扩大解析对象区域，在所述场景转换检测步骤中， 根据与扩大后的解析对象区域有关的视频的差，再次进行场景转换检测。4. 一种场景转换检测方法，该方法检测视频的场景转换，其特征在 于，该场景转换检测方法具有以下步骤区域提取步骤，在该步骤中，从2个帧的视频数据中提取作为解析对象的部分区域；视频特性分析步骤，在该步骤中，针对通过所述区域提取步骤提取出的部分区域的视频数据，计算视频特征值；累积步骤，在该步骤中，对通过所述视频特性分析步骤计算出的视 频特征值进行累积，求出累积视频特征值；以及场景转换检测步骤，在该步骤中，根据针对所述2个帧求出的累积 视频特征值，来检测所述2个帧之间的场景转换，在通过所述场景转换检测步骤未能检测出场景转换的产生的情况 下，在所述区域提取步骤中，从此前未作为解析对象的区域中提取新的 区域进行追加，由此，扩大解析对象区域，在所述场景转换检测步骤中， 根据与扩大后的解析对象区域有关的累积视频特征值，再次进行场景转 换检测，在所述累积步骤中，对上次场景转换检测时求出的累积视频特征值 和针对新提取的区域计算出的视频特征值进行相加，由此，求出所述累 积视频特征值。5. —种场景转换检测方法，该方法检测视频的场景转换，其特征在 于，该场景转换检测方法具有以下步骤区域提取步骤，在该步骤中，从2个帧的视频数据中提取作为解析 对象的部分区域；视频特性分析步骤，在该步骤中，针对通过所述区域提取步骤提取 出的部分区域的视频数据，计算视频特征值；计算通过所述视频特性分析步骤计算出的部分区域中的所述2个帧的视频特征值的差异值的步骤；对计算出的差异值进行累积并求出累积差异值的步骤；以及 场景转换检测步骤，在该步骤中，根据所求出的累积差异值，来检 测所述2个帧之间的场景转换，在通过所述场景转换检测步骤未能检测出场景转换的产生的情况 下，在所述区域提取步骤中，从此前未作为解析对象的区域中提取新的 区域进行追加，由此，扩大解析对象区域，在所述场景转换检测步骤中， 根据与扩大后的解析对象区域有关的所述累积差异值，再次进行场景转 换检测，在所述求出累积差异值的步骤中，对上次场景转换检测时求出的累 积差异值和针对新提取的区域计算出的差异值进行相加，由此，求出新 的累积差异值。6. —种场景转换检测方法，该方法检测已被编码的视频的场景转换， 其特征在于，该场景转换检测方法具有以下步骤-区域提取步骤，在该步骤中，从2个已被编码的帧的视频数据中提 取作为解析对象的部分区域；解码步骤，在该步骤中，对通过所述区域提取步骤提取出的部分区 域的编码数据进行解码；视频特性分析步骤，在该步骤中，根据通过所述解码步骤得到的解 码数据，计算视频特征值；以及场景转换检测步骤，在该步骤中，根据所述2个帧的所述视频特征 值的差，来检测所述2个帧之间的场景转换，在通过所述场景转换检测步骤未能检测出场景转换的产生的情况 下，在所述区域提取步骤中，对来自此前未作为解析对象的区域的新的 区域的编码数据进行解码，与此前进行了解析的区域的解码数据进行相 加，由此，扩大解析对象区域，在所述场景转换检测步骤中，根据与扩 大后的解析对象区域有关的视频特征值，再次进行场景转换检测。7. —种场景转换检测方法，该方法检测已被编码的视频的场景转换， 其特征在于，该场景转换检测方法具有以下步骤区域提取步骤，在该步骤中，从2个已被编码的帧的视频数据中提 取作为解析对象的部分区域；解码步骤，在该步骤中，对通过所述区域提取步骤提取出的部分区 域的编码数据进行解码；视频特性分析步骤，在该步骤中，根据通过所述解码步骤得到的解 码数据，计算视频特征值；累积步骤，在该步骤中，对通过视频特性分析步骤计算出的视频特 征值进行累积，求出累积视频特征值；以及场景转换检测步骤，在该步骤中，根据所述2个帧的所述累积视频 特征值，检测所述2个帧之间的场景转换，在通过所述场景转换检测步骤未能检测出场景转换的产生的情况 下，在所述区域提取步骤中，从此前未作为解析对象的区域中提取新的 区域进行追加，由此，扩大解析对象区域，在所述场景转换检测步骤中， 根据与扩大后的解析对象区域有关的所述累积视频值，再次进行场景转 换检测，在所述累积步骤中，对上次场景转换检测时求出的累积差异值和针 对新提取的区域计算出的差异值进行相加，由此，求出新的累积差异值。8. 根据权利要求4或7所述的场景转换检测方法，其特征在于， 该场景转换检测方法还具有保持所求出的累积视频特征值的保持步骤。9. 根据权利要求5所述的场景转换检测方法，其特征在于，该场景转换检测方法还具有保持所求出的累积差异值的步骤。10. 根据权利要求3 9中的任一项所述的场景转换检测方法，其特征在于，在所述视频特性分析步骤中计算出的视频的特征值是直方图。11. 根据权利要求3 10中的任一项所述的场景转换检测方法，其 特征在于，该场景转换检测方法还具有根据作为解析对象的区域的面积或位置 来改变所述场景转换检测步骤中的场景转换的判定阈值的步骤。12. —种图像差分检测方法，其特征在于，该图像差分检测方法具 有以下步骤输入多个图像的步骤；区域提取步骤，在该步骤中，从所输入的图像的图像数据中提取作 为解析对象的部分区域；以及图像差分检测步骤，在该步骤中，针对2个图像数据来检测分别提 取出的部分区域的图像的差，在所述图像差分检测步骤中图像的差没有超过所设定的阈值的情况 下，在所述区域提取步骤中，从未作为解析对象的区域中新提取区域而 进行追加，由此，扩大解析对象区域，在所述图像差分检测步骤中，针 对扩大后的解析对象区域再次进行图像的差的检测。13. —种场景转换检测方法，该方法检测视频的场景转换，其特征 在于，该场景转换检测方法具有以下步骤保存视频的视频记录步骤；对通过所述视频记录步骤保存的视频数据的1个帧单位或其部分区域的记录位置进行管理的步骤；区域提取步骤，在该步骤中，从2个帧的视频数据中提取其一部分 作为解析对象区域的数据；以及场景转换检测步骤，在该步骤中，根据所述2个帧的通过所述区域 提取步骤提取出的解析对象区域的数据的视频特征值的差，来...

【专利技术属性】
技术研发人员：楠惠明，
申请(专利权)人：三菱电机株式会社，
类型：发明
国别省市：JP[日本]