一种视频标注处理方法和装置制造方法及图纸

本发明专利技术公开了一种视频标注处理方法、装置、电子设备和计算机可读存储介质。该方法包括：从指定视频中选取需要进行标注处理的帧；对于选取的一个帧，确定该帧图像中的实体对象；生成符合该帧图像中的实体对象的情绪状态的文本内容；将文本内容标注到该帧图像中的实体对象的对应位置。通过本技术方案，对视频图像中标注与指定对象情绪对应的文本内容，使得视频展示的效果更加丰富，增加视频的趣味性，且不需要用户手动标注，满足用户的需求，提高用户的使用体验。

A method and device for processing video annotation

The invention discloses a video annotation processing method, a device, an electronic device and a computer readable storage medium. The method includes: selecting a frame that needs to be annotated from the specified video; for a selected frame, the entity object in the frame image is determined; the text content that corresponds to the emotional state of the entity object in the frame image is generated; the text content is tagged to the corresponding position of the entity object in the frame image. Through this technical scheme, the text content corresponding to the emotion of the designated object in the video image makes the video display more effective and more interesting, and does not need the user to manually label, meet the user's needs and improve the user's experience.

【技术实现步骤摘要】
一种视频标注处理方法和装置
本专利技术涉及计算机
，具体涉及一种视频标注处理方法、装置、电子设备和计算机可读存储介质。
技术介绍
随着电子设备的功能的日益增多，通过电子设备采集视频的功能也越来越完善。当用户想要播放指定视频或者录制好视频后，需要对视频进行编辑，以达到自己满意的效果，以便视频在播放时显示的是编辑后的播放效果。但是现如今的视频编辑，要不是用户手动进行标记，操作繁琐；要不就是当用播放视频时，对视频进行简单的编辑，无法满足用户的需求，降低用户的使用体验。
技术实现思路
鉴于上述问题，提出了本专利技术以便提供一种克服上述问题或者至少部分地解决上述问题的视频标注处理方法、装置、电子设备和计算机可读存储介质。根据本专利技术的一个方面，提供了一种视频标注处理方法，其中，该方法包括：从指定视频中选取需要进行标注处理的帧；对于选取的一个帧，确定该帧图像中的实体对象；生成符合该帧图像中的实体对象的情绪状态的文本内容；将所述文本内容标注到该帧图像中的实体对象的对应位置。可选地，所述从指定视频中选取需要进行标注处理的帧包括：对指定视频的各帧进行图像识别处理，从中选取有人或动物的帧；或者，对指定的各相邻帧进行差分处理，从中选出包含有可移动对象的帧。可选地，所述确定该帧图像中的实体对象包括：识别该帧图像中的人、动物，分析并记录该帧图像中的各人、动物的面部特征；所述将所述文本内容标注到该帧图像中的实体对象的对应位置包括：将文本内容标注到该帧图像中的面部特征与之匹配的人或动物的对应位置处。可选地，该方法进一步包括：根据所述指定视频的音频信号，记录该帧图像中的发出声音的实体对象生成声音特征；所述将所述文本内容标注到该帧图像中的实体对象的对应位置包括：将文本内容标注到该帧图像中的面部特征以及声音特征均与之匹配的人或动物的对应位置处。可选地，所述生成符合该帧图像中的实体对象的情绪状态的文本内容包括：将该帧图像输入到实现图像转文本的神经网络中，获取该神经网络输出的表示该帧图像中的实体对象的情绪状态的文本内容。可选地，所述生成符合该帧图像中的实体对象的情绪状态的文本内容包括：根据该帧图像对应的音频内容以及字幕内容，生成符合该帧图像中的实体对象的情绪状态的文本内容。可选地，该方法进一步包括：保存所述指定视频的原始版本和标注版本；在播放所述指定视频时，如果用户选择了标注版本，则播放该指定视频的标注版本，否则播放该指定视频的原始版本。根据本专利技术的另一方面，提供了一种视频标注处理装置，其中，该装置包括：选取单元，适于从指定视频中选取需要进行标注处理的帧；确定单元，适于对于选取的一个帧，确定该帧图像中的实体对象；生成单元，适于生成符合该帧图像中的实体对象的情绪状态的文本内容；标注单元，适于将所述文本内容标注到该帧图像中的实体对象的对应位置。可选地，所述选取单元，适于对指定视频的各帧进行图像识别处理，从中选取有人或动物的帧；或者，对指定的各相邻帧进行差分处理，从中选出包含有可移动对象的帧。可选地，所述确定单元，适于识别该帧图像中的人、动物，分析并记录该帧图像中的各人、动物的面部特征；所述标注单元，适于将文本内容标注到该帧图像中的面部特征与之匹配的人或动物的对应位置处。可选地，该装置进一步包括：声音特征生成单元，适于根据所述指定视频的音频信号，记录该帧图像中的发出声音的实体对象生成声音特征；所述标注单元，适于将文本内容标注到该帧图像中的面部特征以及声音特征均与之匹配的人或动物的对应位置处。可选地，所述生成单元，适于将该帧图像输入到实现图像转文本的神经网络中，获取该神经网络输出的表示该帧图像中的实体对象的情绪状态的文本内容。可选地，所述生成单元，适于根据该帧图像对应的音频内容以及字幕内容，生成符合该帧图像中的实体对象的情绪状态的文本内容。可选地，该装置进一步包括：保存单元，适于保存所述指定视频的原始版本和标注版本；播放单元，适于在播放所述指定视频时，如果用户选择了标注版本，则播放该指定视频的标注版本，否则播放该指定视频的原始版本。根据本专利技术的又一方面，提供了一种电子设备，其中，该电子设备包括：处理器；以及，被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行根据前述的方法。根据本专利技术的再一方面，提供了一种计算机可读存储介质，其中，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被处理器执行时，实现前述的方法。根据本专利技术的技术方案，从指定视频中选取需要进行标注处理的帧；对于选取的一个帧，确定该帧图像中的实体对象；生成符合该帧图像中的实体对象的情绪状态的文本内容；将文本内容标注到该帧图像中的实体对象的对应位置。通过本技术方案，对视频图像中标注与指定对象情绪对应的文本内容，使得视频展示的效果更加丰富，增加视频的趣味性，且不需要用户手动标注，满足用户的需求，提高用户的使用体验。上述说明仅是本专利技术技术方案的概述，为了能够更清楚了解本专利技术的技术手段，而可依照说明书的内容予以实施，并且为了让本专利技术的上述和其它目的、特征和优点能够更明显易懂，以下特举本专利技术的具体实施方式。附图说明通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本专利技术的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：图1示出了根据本专利技术一个实施例的视频标注处理方法的流程示意图；图2示出了根据本专利技术一个实施例的视频标注处理装置的结构示意图；图3示出了根据本专利技术一个实施例的电子设备的结构示意图；图4示出了根据本专利技术一个实施例的计算机可读存储介质的结构示意图。具体实施方式下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。图1示出了根据本专利技术一个实施例的视频标注处理方法的流程示意图。如图1所示，该方法包括：步骤S110，从指定视频中选取需要进行标注处理的帧。对指定视频进行标注，主要是对视频中指定对象进行标注，在指定视频中，有的帧中没有指定对象，或者又的帧不需要进行标注，所以，在本实施例中，首先进行筛选，即从指定视频中选取出需要进行标注处理的帧。步骤S120，对于选取的一个帧，确定该帧图像中的实体对象。在本实施例中，是根据实体对象的情绪状态对实体对象进行文本内容的标注，为了进行情绪状态的分析以及标注，需要从选取的需要进行标出处理的帧中确定实体对象。步骤S130，生成符合该帧图像中的实体对象的情绪状态的文本内容。在本实施例中，可以分析实体对象的情绪状态，如高兴、愤怒等，然后根据实体对象的情绪状态生成相对应的文本内容。例如，从指定视频中识别到人脸的实体对象，当前帧中识别到人脸的情绪状态是高兴，则可以生成相应的文本内容是“我今天太开心了”。步骤S140，将文本内容标注到该帧图像中的实体对象的对应位置。在上述例子的基础上，将生成的文本内容标注到当前帧的人脸对应的位置，例如，为了不遮挡人脸，可以标注在人脸的旁边。当从指定视频中选取出需要进行标注处理的多帧时，本文档来自技高网...

【技术保护点】
1.一种视频标注处理方法，其中，该方法包括：从指定视频中选取需要进行标注处理的帧；对于选取的一个帧，确定该帧图像中的实体对象；生成符合该帧图像中的实体对象的情绪状态的文本内容；将所述文本内容标注到该帧图像中的实体对象的对应位置。

【技术特征摘要】
1.一种视频标注处理方法，其中，该方法包括：从指定视频中选取需要进行标注处理的帧；对于选取的一个帧，确定该帧图像中的实体对象；生成符合该帧图像中的实体对象的情绪状态的文本内容；将所述文本内容标注到该帧图像中的实体对象的对应位置。2.如权利要求1所述的方法，其中，所述从指定视频中选取需要进行标注处理的帧包括：对指定视频的各帧进行图像识别处理，从中选取有人或动物的帧；或者，对指定的各相邻帧进行差分处理，从中选出包含有可移动对象的帧。3.如权利要求1所述的方法，其中，所述确定该帧图像中的实体对象包括：识别该帧图像中的人、动物，分析并记录该帧图像中的各人、动物的面部特征；所述将所述文本内容标注到该帧图像中的实体对象的对应位置包括：将文本内容标注到该帧图像中的面部特征与之匹配的人或动物的对应位置处。4.如权利要求3所述的方法，其中，该方法进一步包括：根据所述指定视频的音频信号，记录该帧图像中的发出声音的实体对象生成声音特征；所述将所述文本内容标注到该帧图像中的实体对象的对应位置包括：将文本内容标注到该帧图像中的面部特征以及声音特征均与之匹配的人或动物的对应位置处。5.如权利要求1所述的方法，其中，所述生成符合该帧图像中的实体对象的情绪状态的文本内容包括：将该帧图像输入到实...

【专利技术属性】
技术研发人员：王嘉春，
申请(专利权)人：北京奇虎科技有限公司，
类型：发明
国别省市：北京,11