用于使外部内容适配视频流的方法、系统和计算机可读媒体技术方案

本申请系关于用于使外部内容适配视频流的方法、系统和计算机可读媒体。本公开属于使外部内容适配视频流的领域，且更确切地说，本公开涉及分析所述视频流以定义合适的叙事模式以及基于此叙事模式调适所述外部内容。式以及基于此叙事模式调适所述外部内容。式以及基于此叙事模式调适所述外部内容。

【技术实现步骤摘要】
用于使外部内容适配视频流的方法、系统和计算机可读媒体
[0001]分案申请信息
[0002]本申请是申请日为2018年6月26日、申请号为201880052801.9、专利技术名称为“用于使外部内容适配视频流的方法、系统和计算机可读媒体”的专利技术专利申请案的分案申请。


[0003]本公开属于使外部内容适配视频流的领域，且更确切地说，它涉及分析所述视频流以定义合适的叙事模式以及基于此叙事模式调适所述外部内容。

技术介绍

[0004]近年来，视频分享网站和服务(例如，YouTube、Vimeo、Flickr等)使得可以在线获取的视频数量激增。仅在YouTube上，每分钟就上传300小时的视频(在2016年)。毋庸置疑，在线上载的大部分视频都是业余人士制作的，也就是说，视频并不是由专业制作人制作的。因而，由于上传视频的用户缺乏经验、技能、软件、时间等，内容会强调或改善视频的观看者体验，所以在观看者播放视频时并没有音乐或覆叠动画等等，或者音乐或覆叠动画等是以较差的方式添加到视频中的。
[0005]本公开正是处于这种情形中。
附图说明
[0006]现将参考附图描述实例实施例，在附图中：
[0007]图1示出根据实施例的如何计算视频流中的后续帧之间的第一差指示符，
[0008]图2通过实例示出在视频流的时间跨度期间的图1的差指示符的图形，
[0009]图3示出根据实施例的两个不同的递减函数，
[0010]图4通过实例示出第二多个差指示符的计算，
[0011]图5示出根据实施例的预定可参数化函数，
[0012]图6示出根据实施例的使图5的预定可参数化函数拟合图4的第二多个差指示符以及确定反高潮，
[0013]图7示出根据实施例的将用于使外部内容适配视频流的经检测事件标记，
[0014]图8通过实例示出可拟合图4的第二多个差指示符的多个预定可参数化函数，
[0015]图9通过实例示出图7的经检测事件标记如何用于使多轨音乐录制适配视频流，
[0016]图10示出根据实施例的用于使外部内容适配视频流的方法，
[0017]图11示出实施图10的方法且连接到具有外部内容的数据库的装置。
[0018]所有图都是示意性的，并且大体上只示出阐明本公开所需的部分，而其它部分可被省略或只是提到。除非另有指示，否则不同图中的相似参考标号是指相似部分。
具体实施方式
[0019]考虑到上文，目标是提供用于使外部内容适配视频流的方法、系统、装置和计算机
程序产品，它们可以通过从视频流导出可用于调适外部内容的参数来促进、简化对视频流的用户体验的增强并提高增强视频流的用户体验的可能性。
[0020]I.综述
‑
使外部内容适配具有一时间跨度的视频流
[0021]根据第一方面，实例实施例提出用于使外部内容适配视频流的方法、实施所述方法的装置、包括所述装置的系统以及用于实施所述方法的计算机程序产品。所提议的方法、装置、系统和计算机程序产品可大体上具有相同特征和优点。
[0022]根据实例实施例，提供一种用于使外部内容适配具有一时间跨度的视频流的方法，所述视频流包括多个帧，每个帧包括像素，所述方法包括以下步骤：
[0023]‑
计算第一多个差指示符，每个差指示符指示后续帧的所述像素的值之间的差，其中计算所述第一多个差指示符中的每个特定差指示符包括：
[0024]○
比较两个后续帧之间的对应像素值，并基于比较来计算所述特定差指示符，
[0025]‑
通过用严格递减函数卷积所述第一多个差指示符来计算第二多个差指示符，所述第二多个差指示符中的每个差指示符对应于所述视频流的特定时间位置，
[0026]‑
使预定可参数化函数拟合所述第二多个差指示符，由此产生描述在所述视频流的所述时间跨度期间所述视频流的叙事模式的函数FNM，以及
[0027]‑
使用所述FNM使外部内容适配所述视频流。
[0028]在本说明书的上下文中，术语“叙事模式”应该理解为模式，例如好莱坞模式(Hollywood Model)、弗赖塔格三角形(Freytag Triangle)、双弗赖塔格三角形(Double Freytag Triangle)、叙事弧(Narrative Arc)等。可以参数化的任何合适的叙事模式(例如，目标在于视频流内容的用户特定模式，如特定于进球得分的足球运动员的视频)都是适用的。参数化模式可以进行调适，使得例如叙事模式的前奏部分延长，或缩短双弗赖塔格三角形的低谷等等。
[0029]在视频游戏中，音乐或其它外部内容通常适配于视频游戏的低级参数，例如如果英雄受伤，如果有许多敌人包围人物，如果它是在日间或夜间等，但是对于视频流来说，此类参数无法轻易提取出，至少不能自动提取出。为了促进外部内容自动或半自动适配于视频流，专利技术人已经认识到，可以将视频流的无限预看用作查找匹配视频流的合适叙事模式的优势。当合适的叙事模式已经被发现且匹配视频流时，这个模式可用于使外部内容(例如，音乐、动画、外部灯光等)适配视频流。概括地说，叙事模式表示观看者在看视频时可体验到的不同情感状态的模式。众所周知，此类情感不是瞬时的，而是累积式的。例如，当视频中出现令人兴奋的时刻时，观看者不会立即兴奋，实际上这是在视频的时间跨度内积累起来的一种累积效应。
[0030]例如，依据图像帧的颜色空间/α空间，每个像素具有与它相关联的值。例如，如果图像帧在RGB/HSV/RGBA/CMYK颜色空间中，那么每个像素具有与此特定颜色空间相关联的值。应注意，并非所有与图像帧的像素相关联的值都必须用于计算所述第一多个差指示符。例如，根据一个实施例，在比较图像帧之间的对应像素值时，只能使用RGBA颜色空间中的像素的α值。
[0031]通过首先计算第一多个差指示符，每个差指示符是后续帧之间的差的量度，例如是帧X和帧X+n的图像内容的变化的度量，然后用严格递减函数卷积这些量度来计算第二多个差指示符，所述第二多个差指示符的值可以捕捉情感是累积性的固有特征。因此，第二多
个差指示符可被视为视频流的情绪指数的曲线。接着，使预定可参数化函数拟合第二多个差指示符(情绪指数曲线)，以产生描述在视频流的时间跨度期间视频流的叙事模式的函数FNM。然后可以一种有利方式将FNM用于使外部内容适配视频流。因此上述实施例是有利的，因为匹配所述特定视频流的FNM是自动产生的。
[0032]根据一些实施例，所述方法进一步包括以下步骤：在产生视频流的FNM之后，
[0033]‑
比较所述第二多个差指示符与所述FNM，
[0034]‑
确定所述第二多个差指示符当中存在连续差指示符子集，其中所述差指示符子集中的所有差指示符的值都至少比所述FNM中的对应值小一阈值，其中所述连续差指示符子集对应于所述视频流的子时间跨度，
[0035]‑
另外基本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于使外部内容适配具有一时间跨度的视频流的方法，所述视频流包括多个帧，每个帧包括像素，所述方法包括以下步骤：计算第一多个差指示符，所述第一多个差指示符中的每个差指示符指示所述多个帧中的一个帧与所述多个帧中的第N个后续帧之间的所述像素的值之间的差，其中N为大于等于1的整数，通过用严格递减函数来卷积所述第一多个差指示符来计算第二多个差指示符，所述第二多个差指示符中的每个差指示符对应于所述视频流中的特定时间位置，使预定可参数化函数拟合所述第二多个差指示符，由此产生描述在所述视频流的所述时间跨度期间所述视频流的叙事模式的函数FNM，使用所述FNM使外部内容适配所述视频流。2.根据权利要求1所述的方法，其中计算所述第一多个差指示符中的每个特定差指示符包括：比较所述多个帧中的所述一个帧与所述多个帧中的所述第N个后续帧之间的对应像素值；以及基于所述比较来计算所述特定差指示符。3.根据权利要求1所述的方法，其进一步包括以下步骤：在产生所述视频流的所述FNM之后：比较所述第二多个差指示符与所述FNM，确定所述第二多个差指示符当中存在连续差指示符子集，其中所述差指示符子集中的所有差指示符的值都至少比所述FNM中的对应值小一阈值，其中所述连续差指示符子集对应于所述视频流的子时间跨度，另外基于所述视频流的所述子时间跨度的时间起点和时间结束点，使所述外部内容适配所述视频流。4.根据权利要求1所述的方法，其中计算所述多个第二差指示符的步骤进一步包括以下步骤：比较所述第一多个差指示符中的每一个与预定阈值并在执行用所述严格递减函数来卷积所述第一多个差指示符的步骤之前将低于所述预定阈值的任何差指示符设置为零。5.根据权利要求1所述的方法，其中所述第一多个差指示符中的每个特定差指示符是通过计算所述一个帧和所述第N个后续帧的对应像素的RGB值之间的差并基于计算出的差计算所述特定差指示符来计算的。6.根据权利要求1所述的方法，其中所述严格递减函数是指数衰减函数或线性递减函数。7.根据权利要求6所述的方法，其中所述严格递减函数是在0.1
‑
2.0秒之后降到其初始值的1％以下的指数衰减函数。8.根据权利要求7所述的方法，其中所述指数衰减函数是在1秒之后降到其初始值的1％以下的指数衰减函数。9.根据权利要求1所述的方法，其中使用所述FNM使外部内容适配所述视频流的步骤是自动的。10.根...

【专利技术属性】
技术研发人员：A，
申请(专利权)人：杜比国际公司，
类型：发明
国别省市：