封面生成装置和方法、电子设备和计算机可读存储介质制造方法及图纸

提供了一种封面生成装置和封面生成方法。该封面生成装置包括：音频获取单元，用于获取可视化数据中的音频数据；情感提取单元，用于从所述音频数据中提取情感性信息；图像提取单元，用于基于所述情感性信息从可视化数据中提取对应的图像数据；封面生成单元，用于基于所提取的图像数据来生成用于所述可视化数据的封面。

Cover generation apparatus and method, electronic equipment and computer readable storage medium

A cover generation device and a cover generation method are provided. The cover generation device includes: an audio acquisition unit for acquiring audio data in the visual data; an emotion extraction unit for extracting emotional information from the audio data; an image extraction unit for extracting corresponding image data from the visual data based on the emotional information; a cover generation unit for generating based on the extracted image data On the cover of the visualization data.

【技术实现步骤摘要】
封面生成装置和方法、电子设备和计算机可读存储介质
本公开涉及信息处理
，更具体地，涉及一种基于可视化数据中的音频信息来生成封面的封面生成装置和封面生成方法，以及相应的电子设备和计算机可读存储介质。
技术介绍
随着信息技术的发展，数据资源逐渐丰富。数据资源的形式是多样化的，例如，其可包括文本数据、图像数据、音频数据、视频数据、代码数据等。所述文本数据、图像数据、视频数据和代码数据等都能够以视觉感官来展现，即可视化数据。为了帮助用户快速找到所需要的数据资源，通常为各个数据资源附加适当的封面。以视频交互平台的上的视频数据为例，在视频数据被制作完成之后，可以通过录制个性化的视频内容或通过编辑醒目的标题来制作封面，从而引起用户对视频数据的关注。对于用户而言，用户通常会先通过观看视频数据的封面来判断是否选择观看该视频，如果视频数据的封面没有引起用户的观看兴趣，用户很可能不会选择打开该视频。因此，通过视频封面，可能快速地向客户传达视频数据中的信息，并吸引用户点击浏览该视频数据，从而提高视频数据的访问量。此外，在购物网站、新闻网页、广告平台等中也需要针对各种数据资源生成封面。例如，在安装于手机的美团点评的应用中，对于旅游景点“圆明园”的视频数据，通常会录制动态封面来向用户展示“圆明园”中的精华部分。典型地，对于待上传的视频数据，可以从随机地从待上传的视频数据中选择一帧图像作为该视频数据的封面。随机选择的封面很可能反应不出该视频数据的特点。相应地，该视频数据不能被合适的用户发现，从而对该视频数据的访问量造成不利影响。
技术实现思路
本公开涉及一种封面生成装置和封面生成方法。在本公开中，利用视频数据中的音频信息的情感性信息来生成封面，从而使该封面能够表征在视频数据中隐含的信息，并相应地代表该视频数据的典型特征。该情感性信息有较大可能性来引起用户的情感共鸣，从而更好地反映视频数据中的代表性特征，从而提高用户对视频数据的关注程度。根据本公开的第一方面，提供了一种封面生成装置。该封面生成装置可包括：音频获取单元，用于获取可视化数据中的音频数据；情感提取单元，用于从所述音频数据中提取情感性信息；图像提取单元，用于基于所述情感性信息从可视化数据中提取对应的图像数据；封面生成单元，用于基于所提取的图像数据来生成用于所述可视化数据的封面。结合第一方面，在第一方面的一种实现方式中，所述情感提取单元可包括：预处理模块，用于对所述音频数据进行预处理而得到音频特征样本；情感提取模块，用于利用一音频情感模型从所述音频特征样本中提取情感性信息。结合第一方面及其上述实现方式，在第一方面的另一实现方式中，所述预处理模块可对所述音频数据进行时间片划分形成多个音频时间片，并对所述多个音频时间片进行特征提取形成多个音频特征样本。结合第一方面及其上述实现方式，在第一方面的另一实现方式中，所述情感提取模块可将所述多个音频特征样本输入至一音频情感模型后得到对应的多个情感性向量作为情感性信息。结合第一方面及其上述实现方式，在第一方面的另一实现方式中，所述情感性信息包括多个情感性向量，所述图像提取单元基于所述多个情感性向量获得所述多个情感性向量之间的音频情感变化，并基于所述音频情感变化从所述可视化数据中提取至少两个可视化数据片段作为对应的图像数据。结合第一方面及其上述实现方式，在第一方面的另一实现方式中，所述情感性信息可包括与所述多个音频特征样本对应的多个情感性向量，所述图像提取单元可包括：计算模块，用于计算时间上相邻的两个情感性向量之间的距离作为相邻的两个音频时间片之间的音频情感变化量；确定模块，用于根据所述音频情感变化量确定具有最大音频情感变化量的两个音频时间片；和图像提取模块，从可视化数据中提取与所述具有最大音频情感变化量的两个音频时间片对应的至少两个可视化数据片段，作为对应的图像数据。结合第一方面及其上述实现方式，在第一方面的另一实现方式中，所述封面生成单元可通过合成所提取的所述至少两个可视化数据片段中部分或全部的可视化数据而生成用于所述可视化数据的动态封面。结合第一方面及其上述实现方式，在第一方面的另一实现方式中，所述封面生成单元可从所述至少两个可视化数据片段中选取图像质量大于预设阈值的图像帧来生成用于所述可视化数据的静态封面。根据本公开的第二方面，提供了一种封面生成方法。该封面生成方法可包括：获取可视化数据中的音频数据；从所述音频数据中提取情感性信息；基于所述情感性信息从可视化数据中提取对应的图像数据；基于所提取的图像数据来生成用于所述可视化数据的封面。结合第二方面，在第二方面的一种实现方式中，所述从所述音频数据中提取情感性信息可包括：对所述音频数据进行预处理而得到音频特征样本；利用一音频情感模型从所述音频特征样本中提取情感性信息。结合第二方面及其上述实现方式，在第二方面的另一实现方式中，所述对所述音频数据进行预处理而得到音频特征样本可包括：对所述音频数据进行时间片划分形成多个音频时间片；对所述多个音频时间片进行特征提取形成多个音频特征样本。结合第二方面及其上述实现方式，在第二方面的另一实现方式中，所述利用一音频情感模型从所述音频特征样本中提取情感性信息可包括：将所述多个音频特征样本输入至所述音频情感模型后得到对应的多个情感性向量作为情感性信息。结合第二方面及其上述实现方式，在第二方面的另一实现方式中，所述情感性信息可包括多个情感性向量，所述基于所述情感性信息从可视化数据中提取对应的图像数据可包括：基于所述多个情感性向量获得所述多个情感性向量之间的音频情感变化；基于所述音频情感变化从所述可视化数据中提取至少两个可视化数据片段作为对应的图像数据。结合第二方面及其上述实现方式，在第二方面的另一实现方式中，所述情感性信息可包括与所述多个音频特征样本对应的多个情感性向量，所述基于所述情感性信息从可视化数据中提取对应的图像数据可包括：计算时间上相邻的两个情感性向量之间的距离作为相邻的两个音频时间片之间的音频情感变化量；根据所述音频情感变化量确定具有最大音频情感变化量的两个音频时间片；从可视化数据中提取与所述具有最大音频情感变化量的两个音频时间片对应的至少两个可视化数据片段，作为对应的图像数据。结合第二方面及其上述实现方式，在第二方面的另一实现方式中，所述基于所提取的图像数据来生成用于所述可视化数据的封面可包括：通过合成所提取的所述至少两个可视化数据片段中部分或全部的可视化数据而生成用于所述可视化数据的动态封面。结合第二方面及其上述实现方式，在第二方面的另一实现方式中，所述基于所提取的图像数据来生成用于所述可视化数据的封面可包括：从所述至少两个可视化数据片段中选取图像质量大于预设阈值的图像帧来生成用于所述可视化数据的静态封面。根据本公开的第三方面，提供了一种电子设备。该电子设备可包括：存储器，用于存储计算机可执行指令；控制器，当运行所述计算机可执行指令时，用于促使所述电子设备执行第二方面及其上述实现方式中任一项所述的封面生成方法。本文档来自技高网...

【技术保护点】
1.一种封面生成装置，包括：/n音频获取单元，用于获取可视化数据中的音频数据；/n情感提取单元，用于从所述音频数据中提取情感性信息；/n图像提取单元，用于基于所述情感性信息从可视化数据中提取对应的图像数据；/n封面生成单元，用于基于所提取的图像数据来生成用于所述可视化数据的封面。/n

【技术特征摘要】
1.一种封面生成装置，包括：
音频获取单元，用于获取可视化数据中的音频数据；
情感提取单元，用于从所述音频数据中提取情感性信息；
图像提取单元，用于基于所述情感性信息从可视化数据中提取对应的图像数据；
封面生成单元，用于基于所提取的图像数据来生成用于所述可视化数据的封面。


2.根据权利要求1所述的封面生成装置，其中，所述情感提取单元包括：
预处理模块，用于对所述音频数据进行预处理而得到音频特征样本；
情感提取模块，用于利用一音频情感模型从所述音频特征样本中提取情感性信息。


3.根据权利要求2所述的封面生成装置，其中，所述预处理模块对所述音频数据进行时间片划分形成多个音频时间片，并对所述多个音频时间片进行特征提取形成多个音频特征样本。


4.根据权利要求2所述的封面生成装置，其中，所述情感提取模块将所述多个音频特征样本输入至所述音频情感模型后得到对应的多个情感性向量作为情感性信息。


5.根据权利要求1所述的封面生成装置，其中，
所述情感性信息包括多个情感性向量，
所述图像提取单元基于所述多个情感性向量获得所述多个情感性向量之间的音频情感变化，并基于所述音频情感变化从所述可视化数据中提取至少两个可视化数据片段作为对应的图像数据。


6.根据权利要求3所述的封面生成装置，其中，所述情感性信息包括与所述多个音频特征样本对应的多个情感性向量，所述图像提取单元包括：
计算模块，用于计算时间上相邻的两个情感性向量之间的距离作为相邻的两个音频时间片之间的音频情感变化量；
确定模块，用于根据所述音频情感变化量确定具有最大音频情感变化量的两个音频时间片；和
图像提取模块，从可视化数据中提取与所述具有最大音频情感变化量的两个音频时间片对应的至少两个可视化数据片段，作为对应的图像数据。


7.根据权利要求5和6中任一项所述的封面生成装置，其中，所述封面生成单元通过合成所提取的所述至少两个可视化数据片段中部分或全部的可视化数据而生成用于所述可视化数据的动态封面。


8.根据权利要求5和6中任一项所述的封面生成装置，其中，所述封面生成单元从所述至少两个可视化数据片段中选取图像质量大于预设阈值的图像帧来生成用于所述可视化数据的静态封面。


9.一种封面生成方法，包括：
获取可视化数据中的音频数据；
从所述音频数据中提取情感性信息；
基于所述情感性信息从可视化数据中提取对应的图像数据；
基于所提取的图像数据来生成用于所述可视化数据的封面。


10.根据权利要求9所述的...

【专利技术属性】
技术研发人员：彭冲，
申请(专利权)人：北京三快在线科技有限公司，
类型：发明
国别省市：北京;11