在视频中插入数字内容制造技术

本公开提出了用于在视频中插入数字内容的方法和装置。可以获得视频。可以从所述视频中提取至少一个目标区域。可以获得与所述视频相对应的关键词。可以至少基于所述关键词来确定至少一项数字内容。可以在所述至少一个目标区域中添加所述至少一项数字内容。区域中添加所述至少一项数字内容。区域中添加所述至少一项数字内容。

【技术实现步骤摘要】
在视频中插入数字内容

技术介绍

[0001]随着数字设备、通信技术、视频编码技术等的发展，人们可以使用诸如智能电话、台式计算机、平板电脑等的终端设备来便捷地访问互联网上的视频。在本文中，视频可以广泛地指能够在终端设备上呈现的各种视觉内容，例如电影、视频新闻、综艺节目、视频演讲、游戏界面、在线教育视频等。人们可以通过视频服务平台流畅地在线观看视频，或者从其下载视频以便之后观看。因访问视频而产生的流量已经占据了互联网总流量中的很大比例，并且该比例还在增长。在视频中插入特定的数字内容，并使该内容随着视频的播放而被公众看见是期望的。

技术实现思路

[0002]提供本
技术实现思路
以便介绍一组构思，这组构思将在以下的具体实施方式中做进一步描述。本
技术实现思路
并非旨在标识所保护主题的关键特征或必要特征，也不旨在用于限制所保护主题的范围。
[0003]本公开的实施例提出了用于在视频中插入数字内容的方法和装置。可以获得视频。可以从所述视频中提取至少一个目标区域。可以获得与所述视频相对应的关键词。可以至少基于所述关键词来确定至少一项数字内容。可以在所述至少一个目标区域中添加所述至少一项数字内容。
[0004]应当注意，以上一个或多个方面包括以下详细描述以及权利要求中具体指出的特征。下面的说明书及附图详细提出了所述一个或多个方面的某些说明性特征。这些特征仅仅指示可以实施各个方面的原理的多种方式，并且本公开旨在包括所有这些方面和其等同变换。
附图说明
[0005]以下将结合附图描述所公开的多个方面，这些附图被提供用以说明而非限制所公开的多个方面。
[0006]图1示出了根据本公开实施例的示例性视频服务网络架构。
[0007]图2示出了根据本公开实施例的用于在视频中插入数字内容的示例性过程。
[0008]图3示出了根据本公开实施例的用于从视频中提取目标区域的示例性过程。
[0009]图4示出了根据本公开实施例的从视频中提取目标区域的示例。
[0010]图5示出了根据本公开实施例的用于获得关键词的示例性过程。
[0011]图6示出了根据本公开实施例的基于音频信息来生成关键词的示例性过程。
[0012]图7示出了根据本公开实施例的基于图像信息来生成关键词的示例性过程。
[0013]图8示出了根据本公开实施例的用于训练关键词生成模型的示例性过程。
[0014]图9示出了根据本公开实施例的在目标区域中添加数字内容的示例。
[0015]图10示出了根据本公开实施例的用于从视频中识别关键帧的示例性过程。
[0016]图11是根据本公开实施例的用于在视频中插入数字内容的示例性方法的流程图。
[0017]图12示出了根据本公开实施例的用于在视频中插入数字内容的示例性装置。
[0018]图13示出了根据本公开实施例的用于在视频中插入数字内容的示例性装置。
具体实施方式
[0019]现在将参考若干示例性实施方式来讨论本公开。应当理解，这些实施方式的讨论仅仅用于使得本领域技术人员能够更好地理解并从而实施本公开的实施例，而并非教导对本公开的范围的任何限制。
[0020]存在一些现有的在视频中插入数字内容的方式。一种现有方式可以独立于视频帧来提供数字内容。例如，可以在视频播放之前、视频播放期间或者视频播放之后插入数字内容，这些方式相应地可以被称为前贴(pre-roll)方式、中贴(mid-roll)方式或后贴(post-roll)方式。另一种现有方式可以在视频帧的画面之上以悬浮式方式来提供数字内容，例如通过使得数字内容悬浮在视频中的部分画面之上来播放数字内容。这些现有的在视频中插入数字内容的方式仅能以有限的呈现效果来随着视频一起提供数字内容。此外，这些现有方式将会不同程度地影响视频观看者的观看体验，例如占用了额外时间、中断了观看进程、遮挡了观看视线等。
[0021]本公开的实施例提出了在视频中插入数字内容的改进的方法。在本文中，数字内容可以广泛地指意图与视频一起呈现的用于各种目的的内容，例如商业信息、公益公告等。数字内容的格式可以包括图片、视频、动画等。可以将数字内容自动插入到视频中的目标区域处，该目标区域可以是从视频中提取的适于添加数字内容的区域。
[0022]在一个方面，本公开的实施例提出了将在视频中检测出的、或者在视频中创建的四边形区域作为目标区域。在本文中，四边形区域可以指具有明确边界且边界为四边形的区域，例如广告牌、画框、显示屏幕等。应当理解，尽管以上部分及本公开的其他部分提及了目标区域的形状是四边形的，但是目标区域也可以具有任何其他适合呈现对应数字内容的形状，例如圆形、三角形或者其他预定形状等。下文仅以四边形为例来说明目标区域。在视频中创建的四边形区域可以位于从视频中检测出的平面区域中。在本文中，平面区域可以指不包含显著对象或者其中的对象不产生明显相对运动的平坦区域，例如墙面、地面、桌子、体育馆看台等。以这种方式，可以从视频中提取出数量不受限的目标区域用于数字内容的添加。
[0023]在另一个方面，本公开的实施例提出了在从视频中提取要插入数字内容的目标区域时，避开涉及预定内容的区域。预定内容可以是视频中的希望保留的具有特定意义的内容，其格式可以包括例如文字、图片等。以这种方式，可以使得预定内容不被所插入的数字内容覆盖或替代。
[0024]在另一个方面，本公开的实施例提出了基于多种因素来确定要插入到视频中的数字内容。可以基于视频的观看者的简档来确定数字内容。在本文中，简档可以指关于观看者的各种信息，例如性别、年龄、喜好、观看历史等。视频的发布者可能具有若干关注者，这些关注者可能是视频的潜在观看者。相应地，可以基于视频的发布者的关注者的简档来确定数字内容。这种方式可以有助于在视频中提供观看者感兴趣的数字内容。另外，可以基于视频的上下文，例如视频的音频信息、图像信息、视频类别等，来确定数字内容。这种方式可以有助于在视频中提供与视频相匹配的数字内容。此外，数字内容可以是从一组候选数字内
容中检索出的。可以为视频预先指定用于检索数字内容的词语，从而可以将所检索出的数字内容控制在一组预定的数字内容内。
[0025]在另一个方面，本公开的实施例提出了在视频中的与关键场景相对应的部分中插入数字内容。在本文中，关键场景可以指观看者感兴趣的、具有较高关注度的场景。以关于足球比赛的视频为例，关键场景可以是足球运动员射门的场景。以这种方式，可以实现更高效的数字内容添加。特别地，在诸如计算资源、处理能力等条件受限的情况下，将目标区域提取操作聚焦于关键场景并在关键场景中添加数字内容可能是更加高效的。
[0026]在另一个方面，本公开的实施例提出了以实时、动态的方式确定要插入到视频中的数字内容。可以响应于接收到观看者对视频的请求而实时确定要插入到视频中的数字内容。数字内容可以是从一组候选数字内容中选择的，该组候选数字内容可以是随时间更新的。另外，候选数字内容的排序可以是随时间更新的，该排序可以影响对数字内容的选择。以这种方本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于在视频中插入数字内容的方法，包括：获得视频；从所述视频中提取至少一个目标区域；获得与所述视频相对应的关键词；至少基于所述关键词来确定至少一项数字内容；以及在所述至少一个目标区域中添加所述至少一项数字内容。2.根据权利要求1所述的方法，其中，所述提取至少一个目标区域包括以下至少之一：在所述视频中检测四边形区域；以及在所述视频中检测平面区域，并且在所述平面区域中创建四边形区域。3.根据权利要求1所述的方法，其中，所述至少一个目标区域的面积高于面积阈值，和/或所述至少一个目标区域在所述视频中的持续时间高于持续时间阈值。4.根据权利要求1所述的方法，还包括：从所述视频中识别关键场景，并且其中，所述至少一个目标区域是从所述视频中的与所述关键场景相对应的部分中提取的。5.根据权利要求4所述的方法，其中，所述关键场景是基于以下至少之一来识别的：所述视频的音频信息、所述视频的图像信息、以及所述视频与观看者之间的交互信息。6.根据权利要求1所述的方法，还包括：从所述视频中识别包含预定内容或者包含与所述预定内容相匹配的图片的保留区域，所述预定内容包括预定的图片或文字，并且其中，所述至少一个目标区域是在所述保留区域外部提取的。7.根据权利要求1所述的方法，其中，所述获得关键词包括：基于所述视频的观看者的简档或者所述视频的发布者的关注者的简档来生成所述关键词。8.根据权利要求1所述的方法，其中，所述获得关键词包括：基于所述视频的上下文来生成初始词，所述上下文包括音频信息、图像信息和视频类别中至少之一；以及通过预定映射配置将所述初始词转换成所述关键词。9.根据权利要求8所述的方法，其中，所述上下文是从所述视频中的与所述至少一个目标区域相对应的部分中提取的。10.根据权利要求1所述的方法，其中，所述关键词是预先为所述视频指定的。11.根据权利要求1所述的方法，其中，所述至少一项数字内容是从一组候选数字内容中选择的，并且所述一组候选数字内容是随时间更新的。12.根据权利要求1所述的方法，其中，所述至少一项数字内容是从一组候选数字内容中选择的，所述一组候选数字内容的排序是随时间更新的，...

【专利技术属性】
技术研发人员：孙国胜，张祺，张高远，刘伟，阳杰，张月娇，
申请(专利权)人：微软技术许可有限责任公司，
类型：发明
国别省市：