一种视频处理方法和装置制造方法及图纸

本发明专利技术实施例公开了一种视频处理方法，所述方法包括：播放视频数据，并获取所述视频数据对应的弹幕数据；在关键信息库中获取与所述弹幕数据相匹配的关键字信息，作为目标关键字信息；所述关键信息库中包含用户设置的关键字信息，以及每个关键字信息对应的目标对象的分类识别模型；在所述视频数据的多个视频帧中获取目标视频帧，并基于所述目标关键字信息对应的分类识别模型，识别所述目标关键字信息对应的目标对象在所述目标视频帧中的图像区域，并将识别出的所述图像区域作为目标区域；当播放所述视频数据中的所述目标视频帧时，对所述目标视频帧中的所述目标区域进行动画处理。采用本发明专利技术，可以丰富弹幕数据的视觉展示效果。

A Video Processing Method and Device

【技术实现步骤摘要】
一种视频处理方法和装置
本专利技术涉及互联网
，尤其涉及一种视频处理方法和装置。
技术介绍
用户在通过客户终端或者网页观看视频的过程中，常常开启弹幕，以查看其它用户发表的弹幕。由于部分视频的弹幕数量较大或者弹幕播放速度较快，用户在这些弹幕播放过程中，将无法在该视频播放界面上及时、清楚的辨识出弹幕关键内容(即难以及时捕捉到这些弹幕中的关键字信息)，从而降低了弹幕数据的可识别度，以至于降低了弹幕数据的视觉展示效果。此外，由于在所述视频播放界面上的弹幕，是独立于所播放的视频内容，因此，在该视频播放界面上所显示的弹幕将无法实时反馈当前播放的视频内容，即缺乏该客户终端中的弹幕与所述视频内容之间的相关性，进而降低当前显示的弹幕数据的视觉展示效果。
技术实现思路
本专利技术实施例提供一种视频处理方法和装置，可以丰富弹幕数据的视觉展示效果。本专利技术一方面提供了一种视频处理方法，包括：播放视频数据，并获取所述视频数据对应的弹幕数据；在关键信息库中获取与所述弹幕数据相匹配的关键字信息，作为目标关键字信息；所述关键信息库中包含用户设置的关键字信息，以及每个关键字信息对应的目标对象的分类识别模型；在所述视频数据的多个视频帧中获取目标视频帧，并基于所述目标关键字信息对应的分类识别模型，识别所述目标关键字信息对应的目标对象在所述目标视频帧中的图像区域，并将识别出的所述图像区域作为目标区域；当播放所述视频数据中的所述目标视频帧时，对所述目标视频帧中的所述目标区域进行动画处理。其中，所述在关键信息库中获取与所述弹幕数据相匹配的关键字信息，作为目标关键字信息，包括：获取关键信息库，并将所述弹幕数据拆分为多个分词数据；在所述关键信息库中遍历查找与各分词数据匹配的关键字信息；若查找到与所述各分词数据匹配的关键字信息，则将所述关键字信息作为所述弹幕数据对应的目标关键字信息；在所述关键信息库中，获取所述目标关键字信息对应的目标对象的分类识别模型。其中，所述在所述视频数据的多个视频帧中获取目标视频帧，并基于所述目标关键字信息对应的分类识别模型，识别所述目标关键字信息对应的目标对象在所述目标视频帧中的图像区域，并将识别出的所述图像区域作为目标区域，包括：在所述视频数据的多个视频帧中获取目标视频帧；将所述目标视频帧划分为多个子区域，并对各子区域进行选择性搜索，并对选择性搜索后的子区域进行合并，得到多个合并区域，并将所述多个子区域和所述多个合并区域均确定为待处理区域；基于神经网络模型对所述待处理区域进行特征提取，得到与所述待处理区域对应的图像特征；基于所述图像特征以及与所述目标关键字信息对应的所述分类识别模型，生成所述待处理区域对应的识别概率，并根据所述识别概率在所述待处理区域中选择包含所述目标关键字信息对应的目标对象的候选区域；所述识别概率是用于表示所述待处理区域中包含所述目标对象的概率；基于回归模型，对所述目标视频帧对应的候选区域进行最优选择，并将选择出的所述目标视频帧对应的最优候选区域确定为目标区域。其中，所述基于神经网络模型对所述待处理区域进行特征提取，得到与所述待处理区域对应的图像特征，包括：将所述待处理区域内的图像块缩放至相同尺寸，并将具有相同尺寸的待处理区域作为神经网络模型的输入，并通过所述神经网络模型输出与所述待处理区域内的图像块对应的图像特征。其中，所述基于回归模型，对所述目标视频帧对应的候选区域进行最优选择，并将选择出的所述目标视频帧对应的最优候选区域确定为目标区域，包括：基于回归模型，对所述目标视频帧对应的候选区域进行最优选择，并从中选择出所述目标视频帧对应的最优候选区域；将所述目标视频帧的上一个视频帧确定为参考视频帧，并获取所述参考视频帧对应的多个候选区域；所述参考视频帧对应的多个候选区域是通过所述目标关键字信息对应的所述分类识别模型在所述参考视频帧对应的待处理区域中选择出的；所述参考视频帧对应的待处理区域是通过对所述参考视频帧进行选择性搜索所生成的；在所述参考视频帧对应的多个候选区域中，选择预估区域；确定每个预估区域与所述目标视频帧对应的最优候选区域之间的重叠率；获取具有最高重叠率的预估区域，并用所述具有最高重叠率的预估区域修正所述目标视频帧对应的最优候选区域，并将修正后的最优候选区域确定为所述目标区域。其中，所述在所述参考视频帧对应的多个候选区域中，选择预估区域，包括：获取所述目标对象在所述参考视频帧中的目标区域；所述参考视频帧对应的目标区域是通过对所述参考视频帧对应的最优候选区域进行修正得到的；所述参考视频帧对应的最优候选区域是基于所述回归模型在所述参考视频帧对应的候选区域中选择出的；获取所述参考视频帧中的所述目标区域的位置信息，作为第一位置信息，并获取所述参考视频帧对应的候选区域的位置信息，作为第二位置信息；计算所述参考视频帧对应的第一位置信息与第二位置信息之间的距离，并将所述距离小于距离阈值的候选区域作为所述目标视频帧对应的预估区域。其中，所述确定每个预估区域与所述目标视频帧对应的最优候选区域之间的重叠率，包括：获取所述目标视频帧对应的最优候选区域的长度值和宽度值，并根据所述长度值和宽度值确定所述目标视频帧对应的最优候选区域的面积，作为第一面积；获取所述预估区域的长度值和宽度值，并根据所述预估区域的长度值和宽度值、所述目标视频帧对应的最优候选区域的长度值和宽度值，确定所述预估区域与所述目标视频帧对应的最优候选区域之间的重叠面积，作为第二面积；根据所述第一面积和所述第二面积，确定所述预估区域与所述目标视频帧对应的最优候选区域之间的重叠率。其中，所述播放视频数据，并获取所述视频数据对应的弹幕数据，包括：播放视频数据，并向弹幕服务器发送弹幕获取请求，并接收所述弹幕服务器基于所述弹幕获取请求返回的历史弹幕数据，并将所述历史弹幕数据作为所述视频数据对应的弹幕数据，并在所述视频数据的播放界面上显示所述弹幕数据。其中，所述播放视频数据，并获取所述视频数据对应的弹幕数据，包括：播放视频数据，并获取文本输入数据，并将所述文本输入数据作为所述视频数据对应的弹幕数据，并在所述视频数据的播放界面上，基于弹幕轨道显示所述弹幕数据，并将所述弹幕数据发送到弹幕服务器，以使所述弹幕服务器将所述弹幕数据同步发送至观看所述视频数据的客户终端。本专利技术一方面提供了一种视频处理装置，包括：弹幕数据获取模块，用于播放视频数据，并获取所述视频数据对应的弹幕数据；关键字获取模块，用于在关键信息库中获取与所述弹幕数据相匹配的关键字信息，作为目标关键字信息；所述关键信息库中包含用户设置的关键字信息，以及每个关键字信息对应的目标对象的分类识别模型；目标对象识别模块，用于在所述视频数据的多个视频帧中获取目标视频帧，并基于所述目标关键字信息对应的分类识别模型，识别所述目标关键字信息对应的目标对象在所述目标视频帧中的图像区域，并将识别出的所述图像区域作为目标区域；目标区域处理模块，用于当播放所述视频数据中的所述目标视频帧时，对所述目标视频帧中的所述目标区域进行动画处理。其中，所述关键字获取模块包括：弹幕数据拆分单元，用于获取关键信息库，并将所述弹幕数据拆分为多个分词数据；关键字查找单元，用于在所述关键信息库中遍历查找与各分词数据匹配的关键字信息；关键字确定单元，用于若查本文档来自技高网...

【技术保护点】
1.一种视频处理方法，其特征在于，包括：播放视频数据，并获取所述视频数据对应的弹幕数据；在关键信息库中获取与所述弹幕数据相匹配的关键字信息，作为目标关键字信息；所述关键信息库中包含用户设置的关键字信息，以及每个关键字信息对应的目标对象的分类识别模型；在所述视频数据的多个视频帧中获取目标视频帧，并基于所述目标关键字信息对应的分类识别模型，识别所述目标关键字信息对应的目标对象在所述目标视频帧中的图像区域，并将识别出的所述图像区域作为目标区域；当播放所述视频数据中的所述目标视频帧时，对所述目标视频帧中的所述目标区域进行动画处理。

【技术特征摘要】
1.一种视频处理方法，其特征在于，包括：播放视频数据，并获取所述视频数据对应的弹幕数据；在关键信息库中获取与所述弹幕数据相匹配的关键字信息，作为目标关键字信息；所述关键信息库中包含用户设置的关键字信息，以及每个关键字信息对应的目标对象的分类识别模型；在所述视频数据的多个视频帧中获取目标视频帧，并基于所述目标关键字信息对应的分类识别模型，识别所述目标关键字信息对应的目标对象在所述目标视频帧中的图像区域，并将识别出的所述图像区域作为目标区域；当播放所述视频数据中的所述目标视频帧时，对所述目标视频帧中的所述目标区域进行动画处理。2.根据权利要求1所述的方法，其特征在于，所述在关键信息库中获取与所述弹幕数据相匹配的关键字信息，作为目标关键字信息，包括：获取关键信息库，并将所述弹幕数据拆分为多个分词数据；在所述关键信息库中遍历查找与各分词数据匹配的关键字信息；若查找到与所述各分词数据匹配的关键字信息，则将所述关键字信息作为所述弹幕数据对应的目标关键字信息；在所述关键信息库中，获取所述目标关键字信息对应的目标对象的分类识别模型。3.根据权利要求2所述的方法，其特征在于，所述在所述视频数据的多个视频帧中获取目标视频帧，并基于所述目标关键字信息对应的分类识别模型，识别所述目标关键字信息对应的目标对象在所述目标视频帧中的图像区域，并将识别出的所述图像区域作为目标区域，包括：在所述视频数据的多个视频帧中获取目标视频帧；将所述目标视频帧划分为多个子区域，并对各子区域进行选择性搜索，并对选择性搜索后的子区域进行合并，得到多个合并区域，并将所述多个子区域和所述多个合并区域均确定为待处理区域；基于神经网络模型对所述待处理区域进行特征提取，得到与所述待处理区域对应的图像特征；基于所述图像特征以及与所述目标关键字信息对应的所述分类识别模型，生成所述待处理区域对应的识别概率，并根据所述识别概率在所述待处理区域中选择包含所述目标关键字信息对应的目标对象的候选区域；所述识别概率是用于表示所述待处理区域中包含所述目标对象的概率；基于回归模型，对所述目标视频帧对应的候选区域进行最优选择，并将选择出的所述目标视频帧对应的最优候选区域确定为目标区域。4.根据权利要3所述的方法，其特征在于，所述基于神经网络模型对所述待处理区域进行特征提取，得到与所述待处理区域对应的图像特征，包括：将所述待处理区域内的图像块缩放至相同尺寸，并将具有相同尺寸的待处理区域作为神经网络模型的输入，并通过所述神经网络模型输出与所述待处理区域内的图像块对应的图像特征。5.根据权利要求3所述的方法，其特征在于，所述基于回归模型，对所述目标视频帧对应的候选区域进行最优选择，并将选择出的所述目标视频帧对应的最优候选区域确定为目标区域，包括：基于回归模型，对所述目标视频帧对应的候选区域进行最优选择，并从中选择出所述目标视频帧对应的最优候选区域；将所述目标视频帧的上一个视频帧确定为参考视频帧，并获取所述参考视频帧对应的多个候选区域；所述参考视频帧对应的多个候选区域是通过所述目标关键字信息对应的所述分类识别模型在所述参考视频帧对应的待处理区域中选择出的；所述参考视频帧对应的待处理区域是通过对所述参考视频帧进行选择性搜索所生成的；在所述参考视频帧对应的多个候选区域中，选择预估区域；确定每个预估区域与所述目标视频帧对应的最优候选区域之间的重叠率；获取具有最高重叠率的预估区域，并用所述具有最高重叠率的预估区域修正所述目标视频帧对应的最优候选区域，并将修正后的最优候选区域确定为所述目标区域。6.根据权利要求5所述的方法，其特征在于，所述在所述参考视频帧对应的多个候选区域中，选择预估区域，包括：获取所述目标对象在所述参考视频帧中的目标区域；所述参考视频帧对应的目标区域是通过对所述参考视频帧对应的最优候选区域进行修正得到的；所述参考视频帧对应的最优候选区域是基于所述回归模型在所述参考视频帧对应的候选区域中选择出的；获取所述参考视频帧中的所述目标区域的位置信息，作为第一位置信息，并获取所述参考视频帧对应的候选区域的位置信息，作为第二位置信息；计算所述参考视频帧对应的第一位置信息与第二位置信息之间的距离，并将所述距离小于距离阈值的候选区域作为所述目标视频帧对应的预估区域。7.根据权利要求6所述的方法，其特征在于，所述确定每个预估区域与所述目...

【专利技术属性】
技术研发人员：刘玉杰，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：广东,44