互动方法、装置、设备制造方法及图纸

本发明专利技术实施例提供一种互动方法、装置、设备，该方法包括：响应于针对视频中的目标对象的互动指令，确定目标对象在视频中相应帧图像中的第一图像区域；提取目标对象的目标特征的第一特征信息，目标特征用于体现互动指令产生的互动效果；将目标特征的第一特征信息调整为与互动效果相适应的第二特征信息；根据第二特征信息生成包含目标特征的第二图像区域；将第二图像区域显示在第一图像区域之上。基于此，实现了视频的画面内容比如上述目标对象实时反馈用户的互动意图的目的。

【技术实现步骤摘要】
互动方法、装置、设备
本专利技术涉及互联网
，尤其涉及一种互动方法、装置、设备。
技术介绍
观看游戏视频、直播视频、电视剧、电影、综艺节目等视频数据已经成为人们日常生活中一种普遍的休闲娱乐方式。为增加趣味性，很多视频客户端中都提供了多种互动功能，以便于用户在观看视频的同时，参与互动。目前，最为常见的互动功能有发弹幕、发评论消息、投票等。这些互动功能大多都是单向的，即用户有互动内容的输入，但是视频内容往往并没有互动反馈。
技术实现思路
本专利技术实施例提供一种互动方法、装置、设备，用以扩展视频的互动功能。第一方面，本专利技术实施例提供一种互动方法，该方法包括：响应于针对视频中的目标对象的互动指令，确定所述目标对象在所述视频中相应帧图像中的第一图像区域；提取所述目标对象的目标特征的第一特征信息，所述目标特征用于体现所述互动指令产生的互动效果；将所述目标特征的第一特征信息调整为与所述互动效果相适应的第二特征信息；根据所述第二特征信息，生成包含所述目标特征的第二图像区域；将所述第二图像区域显示在所述第一图像区域之上。第二方面，本专利技术实施例提供一种互动装置，该装置包括：确定模块，用于响应于针对视频中的目标对象的互动指令，确定所述目标对象在所述视频中相应帧图像中的第一图像区域；提取模块，用于提取所述目标对象的目标特征的第一特征信息，所述目标特征用于体现所述互动指令产生的互动效果；生成模块，用于将所述目标特征的第一特征信息调整为与所述互动效果相适应的第二特征信息；根据所述第二特征信息，生成包含所述目标特征的第二图像区域；渲染模块，用于将所述第二图像区域显示在所述第一图像区域之上。第三方面，本专利技术实施例提供一种电子设备，其中包括处理器和存储器，其中，所述存储器上存储有可执行代码，当所述可执行代码被所述处理器执行时，使所述处理器至少可以实现第一方面中的互动方法。第四方面，本专利技术实施例提供了一种非暂时性机器可读存储介质，所述非暂时性机器可读存储介质上存储有可执行代码，当所述可执行代码被电子设备的处理器执行时，使所述处理器至少可以实现第一方面中的互动方法。在本专利技术实施例中，当用户观看到视频中的某帧图像时，若想与该图像中的目标对象进行互动，则可以对该目标对象触发互动指令。为了实现用户的互动需求，首先，在该图像中进行该目标对象的检测，以检测出该目标对象在该图像中对应的图像区域(称为第一图像区域)，进而，从第一图像区域中提取出反映该目标对象的目标特征的第一特征信息，之后根据用户触发的互动指令调整第一特征信息以得到与该目标特征对应的第二特征信息，以调整后的第二特征信息生成包含该目标特征的第二图像区域，从而将第二图像区域显示在第一图像区域之上。基于此，实现了视频的画面内容比如上述目标对象实时反馈用户的互动意图的目的。附图说明为了更清楚地说明本专利技术实施例的技术方案，下面将对实施例描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术实施例提供的一种互动方法的流程图；图2为本专利技术实施例提供的一种互动指令触发过程的示意图；图3为本专利技术实施例提供的另一种互动指令触发过程的示意图；图4为本专利技术实施例提供的互动方法的一种执行过程的示意图；图5为本专利技术实施例提供的互动方法的另一种执行过程的示意图；图6为本专利技术实施例提供的一种模型训练方法的流程图；图7为本专利技术实施例提供的一种模型训练过程的示意图；图8为本专利技术实施例提供的另一种互动方法的流程图；图9为本专利技术实施例提供的一种互动装置的结构示意图；图10为与图9所示实施例提供的互动装置对应的电子设备的结构示意图。具体实施方式为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。在本专利技术实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本专利技术。在本专利技术实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义，“多种”一般包含至少两种。取决于语境，如在此所使用的词语“如果”、“若”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。类似地，取决于语境，短语“如果确定”或“如果检测(陈述的条件或事件)”可以被解释成为“当确定时”或“响应于确定”或“当检测(陈述的条件或事件)时”或“响应于检测(陈述的条件或事件)”。还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的商品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种商品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的商品或者系统中还存在另外的相同要素。另外，下述各方法实施例中的步骤时序仅为一种举例，而非严格限定。本专利技术实施例提供的互动方法可以由一电子设备来执行，该电子设备可以是诸如PC机、笔记本电脑、智能手机、电视机等终端设备，也可以是服务器。该服务器可以是包含一独立主机的物理服务器，或者也可以为主机集群承载的虚拟服务器，或者也可以为云服务器。本专利技术实施例提供的互动方法想要实现的互动效果为：视频画面中某对象响应于用户(即观看者)触发的互动行为而进行互动反馈。比如，某用户正在观看某视频，当前视频画面中出现了角色名称为XYZ的某人物，且在当前视频画面中该人物正在说笑着，若该用户对该人物触发了“丢砖”的互动行为，则响应于用户的互动行为，可以将该人物变为哭的表情，以作为对用户的“丢砖”行为的反馈。下面结合以下实施例对本文提供的互动方法的执行过程进行说明。图1为本专利技术实施例提供的一种互动方法的流程图，如图1所示，该方法包括如下步骤：101、响应于针对视频中的目标对象的互动指令，确定目标对象在视频中相应帧图像中的第一图像区域。102、提取目标对象的目标特征的第一特征信息，目标特征用于体现互动指令产生的互动效果。103、将目标特征的第一特征信息调整为与所述互动效果相适应的第二特征信息。104、根据第二特征信息，生成包含目标特征的第二图像区域。105、将第二图像区域显示在第一图像区域之上。实际应用中，假设用户X正在通过视频客户端播放某视频，当视频播放到某时刻时，视频画面中出现了用户X想要互动的目标对象，用户X触发了与该目标对象对应的互动指令，此时，本文档来自技高网...

【技术保护点】
1.一种互动方法，其特征在于，包括：/n响应于针对视频中的目标对象的互动指令，确定所述目标对象在所述视频中相应帧图像中的第一图像区域；/n提取所述目标对象的目标特征的第一特征信息，所述目标特征用于体现所述互动指令产生的互动效果；/n将所述目标特征的第一特征信息调整为与所述互动效果相适应的第二特征信息；/n根据所述第二特征信息，生成包含所述目标特征的第二图像区域；/n将所述第二图像区域显示在所述第一图像区域之上。/n

【技术特征摘要】
1.一种互动方法，其特征在于，包括：
响应于针对视频中的目标对象的互动指令，确定所述目标对象在所述视频中相应帧图像中的第一图像区域；
提取所述目标对象的目标特征的第一特征信息，所述目标特征用于体现所述互动指令产生的互动效果；
将所述目标特征的第一特征信息调整为与所述互动效果相适应的第二特征信息；
根据所述第二特征信息，生成包含所述目标特征的第二图像区域；
将所述第二图像区域显示在所述第一图像区域之上。


2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
在播放所述视频的界面中显示多个互动选项，以供所述用户通过选择所述多个互动选项而触发所述互动指令。


3.根据权利要求1所述的方法，其特征在于，所述方法还包括：
接收所述用户发出的语音信息；
识别所述语音信息中包含的关键词；
根据所述关键词确定所述互动指令。


4.根据权利要求1所述的方法，其特征在于，所述提取所述目标对象的目标特征的第一特征信息，包括：
将所述第一图像区域输入到训练得到的模型中，以通过所述模型提取出描述所述目标对象的所述目标特征的第一主成分参数向量，所述第一主成分参数向量作为所述第一特征信息。


5.根据权利要求4所述的方法，其特征在于，所述将所述目标特征的第一特征信息调整为与所述互动效果相适应的第二特征信息，包括：
根据预设的所述互动指令与主成分参数向量中的元素之间的映射关系，调整所述第一主成分参数向量中的元素，以得到作为所述第二特征信息的第二主成分参数向量。


6.根据权利要求5所述的方法，其特征在于，所述根据所述第二特征信息，生成包含所述目标特征的第二图像区域，包括：
根据所述第二主成分参数向量对所述目标对象进行三维建模；
将所述三维建模的结果转换为二维的所述第二图像区域。


7.根据权利要求4所述的方法，其特征在于，所述方法还包括：
获取作为训练样本的多张图像以及与每张图像对应的多个关键点的三维坐标，所述多个关键点用于描述对应图像中包含的对象的特征，所述多张图像各自包含的对象与所述目标对象为相同类别；
对每张图像对应的多个关键点的三维坐标进行主成分分析，得到每张图像对应的主成分参数向量；
以所述多张图像和所述多张图像分别对应的主成分参数向量训练所述模型。


8.根据权利要求1至7中任一项所述的方法，其特征在于，所述目标对象为人，所述目标特征包括如下特征中的任一种或多种：轮廓形状、位姿、表情。


9.根据权利要求1至7中任一项所述的方法，其特征在于，所述相应帧图像为包含所述目标对象的第一图像，所述方法还包括：
若确定所述互动指令在第二图像中有效，则确定所述目标对象在所述第二图像中对应的第三图像区域；
从所述第三图像区域中提取所述目标对象的目标特征的第三特...

【专利技术属性】
技术研发人员：齐峰，
申请(专利权)人：阿里巴巴集团控股有限公司，
类型：发明
国别省市：开曼群岛;KY