【技术实现步骤摘要】
一种视频分段和标记的方法及装置
本申请涉及视频处理技术，特别涉及一种视频分段和标记的方法及装置。
技术介绍
随着视频网站资源越来越丰富，用户在观看长视频时(如电视剧/电影/综艺节目/球赛时)，会通过手动拖动进度条或快速播放来节省时间。但是这些方法各有弊端：手动拖动进度条，可以跳跃到任意点播放，但是带有盲目性，常常会错过用户本来感兴趣的内容，不能精准播放；快速播放，会破坏视频的意境，让用户没法好好欣赏自己感兴趣的内容。为了给用户提供更多视频播放时的辅助信息，可以对视频进行分割，并标注每个分段的信息，让用户可以预览，在有限的时间内，播放自己感兴趣的部分，跳过或者快速播放自己不感兴趣的。更进一步地，还可以分析用户的兴趣点，计算每个片段的对用户的推荐指数，以帮助用户决策。具体地，视频内容结构按照语义层级的高低可分为镜头和场景。镜头是摄像机一次连续拍摄到的视频片段。场景是由若干个在语义上相关的连续镜头组成的能够表达共同语义内容的视频片段。基于此，可以将视频内容按照场景分割，场景分割的目标是要找到场景的时间边界，将视频按语义分割为多个场景片段。现有的视频场景分割技术主要利用视频的视觉特征信息，通过分析视频相邻帧之间的相似度，先进行镜头分割，再根据镜头之间的相关性，相似的镜头合并，形成一定语义的场景，从而完成场景语义分割。在视频分段标注时，目前的技术主要是利用关键帧的信息，从关键帧里提取文本信息，形成摘要，结合起始结束位置一起展示给用户，用于定位和重点关注某目标对象，锁定重要的视频线索信息。进一步地...
【技术保护点】
1.一种视频的分段和标注方法，其特征在于，包括：/n将视频内容按照场景进行分割，得到场景分割序列，为所述场景分割序列中的每个分段记录对应的场景信息，并将所述场景信息加入标注信息；/n将视频内容的音频数据进行分割，分割点为声音出现、切换和消失的点，得到声音分割序列，对所述声音分割序列中的每个分段进行声音识别，并记录相应的声音类别，作为各分段的声音信息，将所述声音信息加入标注信息；和/或，将视频内容按照时间等分，计算每个时间段的热度统计值，将热度统计值的差小于第一设定阈值的相邻时间段合并，并将对应的热度统计值合并，得到热度分割序列，将热度分割序列中每个分段的热度统计值作为相应分段的热度信息，将所述热度信息加入标注信息；/n将对所述视频内容进行分割得到的各个分割序列中的所有分割点作为所述视频内容的分割点，对所述视频内容再次进行视频分割，得到视频分割序列，并按照各个分割序列中的标注信息，为所述视频分割序列中的每个分段记录对应的标注信息；/n根据所述视频分割序列和各个分段对应的标注信息，显示视频内容的分段以及各分段的标注信息。/n
【技术特征摘要】
1.一种视频的分段和标注方法，其特征在于，包括：
将视频内容按照场景进行分割，得到场景分割序列，为所述场景分割序列中的每个分段记录对应的场景信息，并将所述场景信息加入标注信息；
将视频内容的音频数据进行分割，分割点为声音出现、切换和消失的点，得到声音分割序列，对所述声音分割序列中的每个分段进行声音识别，并记录相应的声音类别，作为各分段的声音信息，将所述声音信息加入标注信息；和/或，将视频内容按照时间等分，计算每个时间段的热度统计值，将热度统计值的差小于第一设定阈值的相邻时间段合并，并将对应的热度统计值合并，得到热度分割序列，将热度分割序列中每个分段的热度统计值作为相应分段的热度信息，将所述热度信息加入标注信息；
将对所述视频内容进行分割得到的各个分割序列中的所有分割点作为所述视频内容的分割点，对所述视频内容再次进行视频分割，得到视频分割序列，并按照各个分割序列中的标注信息，为所述视频分割序列中的每个分段记录对应的标注信息；
根据所述视频分割序列和各个分段对应的标注信息，显示视频内容的分段以及各分段的标注信息。
2.根据权利要求1所述的方法，其特征在于，所述根据所述视频分割序列和各个分段对应的标注信息，显示视频内容的分段以及分段的标注信息包括：
按照所述视频分割序列的分割点显示视频分段和相应分段的标注信息；或者，
将所述视频分割序列的所有分段的标注信息分别与用于描述用户观看视频的兴趣特征的用户画像进行匹配，计算各个分段对用户的推荐指数；其中，所述用户画像包括用户的兴趣点集合和非兴趣点集合，兴趣点集合和非兴趣点集合中的各个元素对应于标注信息的各类标签；视频分割序列中各分段的标注信息与用户画像的匹配度越高，相应分段对用户的推荐指数越高；
在所述视频分割序列的所有分段中，将用户推荐指数差低于第二设定阈值的相邻分段合并，并将对应的标注信息以及用户推荐指数进行合并，得到用户视频分割序列，据此显示视频内容的分段和各分段的标注信息及用户推荐指数。
3.根据权利要求1所述的方法，其特征在于，根据所述每个时间段的播放数据统计值和/或即时评价统计值计算所述每个时间段的热度统计值。
4.根据权利要求3所述的方法，其特征在于，对于所述每个时间段，确定每个用户对于该时间段的视频播放指数，将所有用户对于该时间段的视频播放指数求和，作为所述播放数据统计值；其中，所述视频播放指数用于表示相应时间段的视频是否被正常播放和/或是否被播放完毕。
5.根据权利要求3所述的方法，其特征在于，当任一时间段的视频被正常播放时，相应时间段的视频播放指数为1；和/或，
当所述任一时间段的视频被跳过时，相应时间段的视频播放指数为0；和/或，
当所述任一时间段的视频倍速播放时，相应时间段的视频播放指数为1/倍率。
6.根据权利要求3所述的方法，其特征在于，对于所述每个时间段，确定该时间段内的即时评价总数，作为所述即时评价统计值。
7.根据权利要求3到6中任一所述的方法，其特征在于，根据所述每个时间段i的播放数据统计值和即时评价统计值计算所述每个时间段i的热度统计值hi包括：
将所述播放数据统计值pi和即时评价统计值ci分别进行归一化处理；
计算hi'＝(pi+ci)*N，对hi'进行四舍五入取整得到所述热度统计值hi；其中，所述N为预设的正整数，用于控制所述热度统计值的取值范围。
8.根据权利要求1或3所述的方法，其特征在于，所述将对应的热度统计值合并包括：对合并的相邻时间段计算热度统计值的平均值，将所述平均值作为合并后时间段的热度统计值。
9.根据权利要求2所述的方法，其特征在于，确定用户画像中兴趣点集合的方式包括：
从用户的搜索记录和/或偏好设置中提取关键信息加入所述兴趣点集合，根据用户的播放记录选择用户播放和/或多次播放的视频分段，根据相应分段的标注信息，更新所述兴趣点集合。
10.根据权利要求2所述的方法，其特征在于，确定用户画像中非兴趣点集合的方式包括：
根据用户的播放记录选择用户跳过的视频分段，根据相应分段的标注信息，更新所述非兴趣点集合。
11.根据权利要求2所述的方法，其特征在于，在所述用户画像中，为所述兴趣点集合和所述非兴趣点集合中的各个元素设置对应的权重，并在用户进行视频设置、视频搜索和/或视频播放行为时，更新元素的权重；其中，元素更新的越晚，权重越高，元素更新的越早，权重越低；元素出现的频率越高，权重越高，元素出现的频率越低，权重越低。
12.根据权利要求11所述的方法，其特征在于，确定元素出现频率的方式为：根据用户播放视频中各分段的标注信息，统计相应元素出现的累计次数，根据所述累计次数确定相应元素的出现频率。
13.根据权利要求11所述的方法，其特征在于，所述更新元素的权重包括：当用户有视频设置、视频搜索和/或视频播放行为时，提取关键词作为所述兴趣点集合或非兴趣点集合的待插入元素，并设置初始权重，根据该初始权重将相应兴趣点集合或非兴趣点集合里其他元素的权重按比例减少；在所述兴趣点集合或非兴趣点集合中搜索所述待插入元素，若存在相同或相似元素，则将所述待插入元素与相同或相似元素合并，将权重累加；若不存在相同或相似元素，则将所述待插入元素插入所述兴趣点集合或非兴趣点集合。
14.根据权利要求13所述的方法，其特征在于，来源于视频设置或视频搜索行为的所述待插入元素的初始权重高于来源于视频播放行为的所述待插入元素的初始权重。
15.根据权利要求2所述的方法，其特征在于，所述计算各个分段对用户的推荐指数包括：
对于任一分段i的场景信息中的每个元素sij，将元素sij分别与用户兴趣点集合中与场景相关的各个元素进行匹配分析，根据所有元素的匹配结果计算所述任一分段的场景兴趣指数；对于任一分段的场景信息中的每个元素sij，将元素sij分别与用户非兴趣点集合中与场景相关的各个元素进行匹配分析，根据所有元素的匹配结果计算所述任一分段的场景非兴趣指...
【专利技术属性】
技术研发人员：李锁花，殷飞，何健，迟民强，
申请(专利权)人：三星电子中国研发中心，三星电子株式会社，
类型：发明
国别省市：江苏;32
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。