视频内容识别方法、装置、电子设备及存储介质制造方法及图纸

本公开关于一种视频内容识别方法，该方法包括：从视频中获取包含有文本行的目标视频帧；对所述目标视频帧进行文字识别操作，获得所述文本行对应的文字识别结果；所述文字识别结果所述文字识别结果包括文本行位置信息、文本行内容信息和文本行区域图像；根据所述文本行区域图像，提取出所述文本行对应的文本图像特征，以及，根据所述文本行位置信息、所述文本行内容信息和所述文本行区域图像，提取出所述文本行对应的内容关联特征；根据所述文本图像特征和所述内容关联特征，确定所述文本行在所述视频中的结构化信息；所述结构化信息用于对所述视频进行视频内容识别操作。采用该方法可以解决相关技术中视频内容识别准确度不高的问题。问题。问题。

【技术实现步骤摘要】
视频内容识别方法、装置、电子设备及存储介质


[0001]本公开涉及计算机
，尤其涉及一种视频内容识别方法、装置、电子设备及存储介质。

技术介绍

[0002]目前短视频越来越多的成为人们传递信息的媒介选择，其中添加文字信息如标题、字幕是一种很强的表意信号。
[0003]对于视频中出现的文字提取主要依赖OCR(Optical Character Recognition,光学字符识别)检测识别技术。而OCR识别在对于视频图像上出现的文字是往往是进行无差别的识别处理的，即OCR结果输出的是视频中出现的所有文字，存在非常多的冗余信息和存在许多噪音干扰，也使得现有技术在依赖于OCR结果进行视频内容识别任务，其得到的视频内容识别结果准确度不高。

技术实现思路

[0004]本公开提供一种视频内容识别方法、装置、电子设备及存储介质，以至少解决相关技术中视频内容识别准确度不高的问题。本公开的技术方案如下：
[0005]根据本公开实施例的第一方面，提供一种视频内容识别方法，所述方法包括：
[0006]从视频中获取包含有文本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种视频内容识别方法，其特征在于，所述方法包括：从视频中获取包含有文本行的目标视频帧；对所述目标视频帧进行文字识别操作，获得所述文本行对应的文字识别结果；所述文字识别结果所述文字识别结果包括文本行位置信息、文本行内容信息和文本行区域图像；根据所述文本行区域图像，提取出所述文本行对应的文本图像特征，以及，根据所述文本行位置信息、所述文本行内容信息和所述文本行区域图像，提取出所述文本行对应的内容关联特征；所述内容关联特征用于表征所述文本行的文本内容与所述目标视频帧的视频帧内容之间的关联程度；根据所述文本图像特征和所述内容关联特征，确定所述文本行在所述视频中的结构化信息；所述结构化信息用于对所述视频进行视频内容识别操作。2.根据权利要求1所述的视频内容识别方法，其特征在于，所述根据所述文本行位置信息、所述文本行内容信息和所述文本行区域图像，提取出所述文本行对应的内容关联特征，包括：根据所述文本行位置信息，提取出所述文本行在所述视频中的文字位置特征，以及，根据所述文本行内容信息，提取出所述文本行在所述视频中的文字内容特征，以及，根据所述文本行区域图像，提取出所述文本行在所述视频中的文字外观特征；对所述文字位置特征、所述文字内容特征和所述文字外观特征进行融合，得到所述内容关联特征。3.根据权利要求2所述的视频内容识别方法，其特征在于，所述根据所述文本行位置信息，提取出所述文本行在所述视频中的文字位置特征，包括：根据所述文本行位置信息，确定所述文本行在多帧所述目标视频帧中的连续出现信息；生成与所述连续出现信息对应的文本行连续特征向量；所述文本行连续特征向量用于表征所述文本行在多帧所述目标视频帧中的连续出现特征；将所述文本行连续特征向量，作为所述文字位置特征。4.根据权利要求2所述的视频内容识别方法，其特征在于，所述根据所述文本行内容信息，提取出所述文本行在所述视频中的文字内容特征，包括：根据所述文本行内容信息，生成文本行内容特征向量；所述文本行内容特征向量用于表征所述文本行的语句特征和字符特征；将所述文本行内容特征向量，作为所述文字内容特征。5.根据权利要求2所述的视频内容识别方法，其特征在于，所述根据所述文本行区域图像，提取出所述文本行在所述视频中的文字外观特征，包括：获取与所述文本行区域图像对应的颜色直方图；生成所述颜色直方图对应的文本色彩特征向量；所述文本色彩特征向量用于表征所述文本行在所述目标视频帧...

【专利技术属性】
技术研发人员：王思博，陈益如，
申请(专利权)人：北京达佳互联信息技术有限公司，
类型：发明
国别省市：