本申请公开了一种视频摘要生成方法和装置，其中方法包括：基于用户的行为数据，采用自注意力计算方式，生成所述用户的注意力编码参数；基于所述用户的注意力编码参数，确定目标视频的每个片段是否为所述用户的兴趣片段，并从所述兴趣片段中提取出兴趣帧；采用注意力计算方式，对所述兴趣帧进行融合处理，得到所述目标视频的视频摘要。采用本申请，可以提高视频摘要的生成效率，降低应用成本，并且有利于提高视频观看率。提高视频观看率。提高视频观看率。
【技术实现步骤摘要】
一种视频摘要生成方法和装置
[0001]本专利技术涉及计算机视觉技术，特别是涉及一种视频摘要生成方法和装置。
技术介绍
[0002]目前，很多视频平台为用户提供了视频相关的多种服务。例如，视频观看服务、视频上传服务和付费视频服务等。
[0003]面对大量的视频数据和冗长的视频内容，为了提高视频观看率，视频制作方和视频平台通常会对视频进行剪辑，从视频中提取出部分帧合成新的视频(即视频摘要)，以帮助用户快速浏览和理解内容。
[0004]专利技术人在实现本专利技术的过程中发现：现有的视频摘要生成方案存在效率低、成本高、提升视频观看率的效果差等问题。具体原因分析如下：
[0005]现有的视频摘要生成方案中，视频剪辑主要还是依靠人工浏览视频，将包含重要信息的帧组合在一起获得视频摘要，这样，需要人工浏览大量的视频，导致生成视频摘要的成本高且效率低。
[0006]另外，人工提取视频关键帧或关键片段时主要是基于预设的规则，包括屏幕变化、音频变化或匹配预定义的屏幕标签等。由于这些规则具有普适性，只能迎合大多数用户的喜好。而在实际应用中，不同用户可能具有不同的偏好，相应地，在同一个视频中不同用户喜欢的视频内容也会不同。这样，所提取的视频关键帧或关键片段并不能与每个用户的兴趣相匹配，即视频中用户感兴趣的内容可能不会呈现在视频摘要中，如此，则无法有效吸引用户选择观看该视频，从而无法有效提升视频观看率。
技术实现思路
[0007]有鉴于此，本专利技术的主要目的在于提供一种视频摘要生成方法和装置，可以提高视频摘要的生成效率、降低应用成本、且有利于提高视频观看率。
[0008]为了达到上述目的，本专利技术实施例提出的技术方案为：
[0009]一种视频摘要生成方法，包括：
[0010]基于用户的行为数据，采用自注意力计算方式，生成所述用户的注意力编码参数；
[0011]基于所述用户的注意力编码参数，确定目标视频的每个片段是否为所述用户的兴趣片段，并从所述兴趣片段中提取出兴趣帧；
[0012]采用注意力计算方式，对所述兴趣帧进行融合处理，得到所述目标视频的视频摘要。
[0013]本专利技术实施例还提出一种视频摘要生成装置，包括：
[0014]用户注意力参数生成单元，用于基于用户的行为数据，采用自注意力计算方式，生成所述用户的注意力编码参数；
[0015]兴趣帧提取单元，用于基于所述用户的注意力编码参数，确定目标视频的每个片段是否为所述用户的兴趣片段，并从所述兴趣片段中提取出兴趣帧；
[0016]融合处理单元，用于采用注意力计算方式，对所述兴趣帧进行融合处理，得到所述目标视频的视频摘要。
[0017]本专利技术实施例还提出一种视频摘要生成设备，包括处理器和存储器；
[0018]所述存储器中存储有可被所述处理器执行的应用程序，用于使得所述处理器执行如上所述视频摘要生成方法。
[0019]本专利技术实施例还提出一种计算机可读存储介质，其中存储有计算机可读指令，该计算机可读指令用于执行如上所述视频摘要生成方法。
[0020]本专利技术实施例还提出一种计算机程序产品，包括计算机程序/指令，其特征在于，该计算机程序/指令被处理器执行时实现如上所述视频摘要生成方法的步骤。
[0021]综上所述，本专利技术实施例提出的视频摘要生成方案中，基于用户的行为数据，获取用户的注意力编码参数，利用用户的注意力编码参数，从目标视频中筛选出用户感兴趣的视频帧，即兴趣帧，最后，基于这些兴趣帧生成最终展示给该用户的视频摘要。如此，可以使得所生成的视频摘要能够与当前浏览用户的观看喜好相匹配，确保将目标视频中用户可能感兴趣的内容通过视频摘要展示给用户，从而有利于提高视频观看率。并且，由于视频摘要的生成过程不需要人工参与，因此，相比于现有依赖人工实现的视频摘要生成方案，有效提高了视频摘要的生成效率，降低了应用成本。
附图说明
[0022]图1为本专利技术实施例的视频摘要生成方法流程示意图；
[0023]图2为本专利技术实施例中生成用户注意力编码参数的示意图；
[0024]图3为本专利技术实施例的用户注意力编码参数生成示例图；
[0025]图4为本专利技术实施例中兴趣片段的选择示意图；
[0026]图5为本专利技术实施例中当兴趣片段不是目标视频中的首个兴趣片段时的帧融合示例图；
[0027]图6为本专利技术实施例中将兴趣片段输入至预先训练的第三注意力计算模型进行处理得到相应注意力矩阵的示例图；
[0028]图7为场景一中本专利技术实施例的应用示例图；
[0029]图8为场景二中本专利技术实施例的应用示例图；
[0030]图9为本专利技术实施例的视频摘要生成装置结构示意图。
具体实施方式
[0031]为使本专利技术的目的、技术方案和优点更加清楚，下面将结合附图及具体实施例对本专利技术作进一步地详细描述。
[0032]为了实现本申请的专利技术目的，本申请实施例中在视频摘要生成过程中，将考虑用户的个性化观看需求，为每个用户，基于其行为数据，生成能够反映用户个性特征的兴趣数据，并基于该用户的兴趣数据，进行视频剪辑，得到视频摘要。如此，通过基于用户的个性特征自动为其生成视频摘要，一方面，可以使得视频中用户感兴趣的内容尽可能地呈现在为其展示的视频摘要中，从而可以最大程度地吸引用户选择观看该视频，有效提升视频观看率，另一方面可以有效解决现有方案人工生成视频摘要存在的效率低、成本高的问题。
[0033]图1为本专利技术实施例的视频摘要生成方法流程示意图，如图1所示，该实施例主要包括：
[0034]步骤101、基于用户的行为数据，采用自注意力计算方式，生成所述用户的注意力编码参数。
[0035]本步骤，用于基于用户的行为数据，获取能够反映用户观看喜好的注意力编码参数，以在后续步骤中，基于用户的注意力编码参数，从目标视频中提取出用于生成视频摘要的兴趣帧，以使视频摘要可以最大程度地全面展示用户可能喜好的内容，从而有利于用户基于视频摘要，准确选择其喜欢的视频观看，进而有利于提高视频观看率。
[0036]一种实施方式中，所述行为数据具体可以包括所述用户在当前统计窗口内的输入相关信息和观看行为记录。
[0037]其中，所述输入相关信息为用户在视频平台中执行信息输入操作的相关信息，具体可以包括输入的内容信息、执行输入操作的时间、执行输入操作的地点和/或设备等，但不限于此。
[0038]所述观看行为记录为用户在视频平台观看视频的历史记录，该观看行为记录用以提高进行自我注意力计算时所使用的自注意力计算模型的准确性，具体可以包括用户选择观看过的视频、观看时长、次数等，但不限于此。
[0039]所述统计窗口，用于限定用于生成用户注意力编码参数的数据时间范围，具体可由本领域技术人员根据实际需要设置合适取值。
[0040]一种实施方式中，如图2所示，具体可以采用下述步骤1011和1012，生成所述用户的注意力编码参数：
[0本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种视频摘要生成方法，其特征在于，包括：基于用户的行为数据，采用自注意力计算方式，生成所述用户的注意力编码参数；基于所述用户的注意力编码参数，确定目标视频的每个片段是否为所述用户的兴趣片段，并从所述兴趣片段中提取出兴趣帧；采用注意力计算方式，对所述兴趣帧进行融合处理，得到所述目标视频的视频摘要。2.根据权利要求1所述的方法，其特征在于，所述行为数据为所述用户在当前统计窗口内的输入相关信息和观看行为记录；所述输入相关信息包括输入的内容信息、执行输入操作的时间和/或执行输入操作的地点。3.根据权利要求1所述的方法，其特征在于，所述生成所述用户的注意力编码参数包括：对所述用户的行为数据进行编码，得到所述行为数据的向量表示；将所述向量表示输入至预设的第一自注意力计算模型进行处理，得到所述用户的注意力编码参数。4.根据权利要求1所述的方法，其特征在于，所述确定目标视频的每个片段是否为所述用户的兴趣片段，并从所述兴趣片段中提取出兴趣帧包括：对于每个所述片段，对该片段中的每个视频帧进行编码，并将编码得到的所有视频帧向量表示，输入至预设的第二自注意力计算模型进行自注意力处理，得到该片段中每个视频帧的注意力；将该片段对应的所有所述注意力与所述用户的注意力编码参数进行匹配，得到该片段与所述用户之间的匹配值，基于所述匹配值，判断该片段是否为兴趣片段，如果是，则基于所述自注意力处理过程中获得的每个所述注意力对应的帧间权重，从该片段中选择所述帧间权重大于预设兴趣阈值的帧，作为兴趣帧。5.根据权利要求1所述的方法，其特征在于，所述对所述兴趣帧进行融合处理包括：依次遍历每个所述兴趣片段C
i
，如果该兴趣片段C
i
为所述目标视频中的第一个兴趣片段，则将该兴趣片段C
i
中的所有兴...
【专利技术属性】
技术研发人员：唐兰林，俞江，葛玲玲，丁琳，
申请(专利权)人：三星电子株式会社，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。