一种视频文件分词方法、装置及电子设备制造方法及图纸

本公开关于一种视频文件分词方法、装置及电子设备，该方法包括：确定待处理的视频文件，提取待处理的视频文件的多个图像帧；对多个图像帧进行文本检测处理，获得第一特征图和第二特征图；第一特征图包括多个图像帧中均存在的处于同一位置且文本内容相同的全局文本特征以及全局文本特征对应的第一区域位置；第二特征图包括多个图像帧中任一文本内容对应的基础文本特征；基于第一特征图中的全局文本特征，对基础文本特征进行视频信息增强，获得多个图像帧的局部文本特征；根据多个图像帧对应的局部文本特征、以及局部文本特征对应的区域位置与第一区域位置对应的关系，确定是否结合第一特征图对局部文本特征对应的分词文本进行分词，获得分词结果。获得分词结果。获得分词结果。

【技术实现步骤摘要】
一种视频文件分词方法、装置及电子设备


[0001]本公开涉及信息处理
，尤其涉及一种视频文件分词方法、装置及电子设备。

技术介绍

[0002]随着科技的日益进步和互联网的普及，越来越多的人通过搜索短视频来获取新闻，知识，生活动态等信息，且可以通过发布短视频来分享信息。在通过短视频获取信息时，可以基于对短视频的理解来搜索需求的短视频，或者是推荐系统基于对短视频的理解进行个性化推荐。
[0003]具体的，短视频的理解的一项基础技术就是对短视频中的文本进行中文分词处理，且相关技术中对于短视频中的任意自然语言句子进行分词时，基于序列标注模型，获得短视频的分词结果。
[0004]上述相关技术中，序列标注模型在词语数量和模板数量上都具有局限性，并且由于序列标注模板为固定语法的模板，而标注词语可能与短视频中文本想表达的含义不同。因此，基于序列标注模型的分词方法确定的分词结果可能不能符合原文本信息的真实意图，从而出现语义上的瑕疵，导致对短视频的推荐或搜索结果不符合实际使用需求，降低用户的使用体验。

技术实现思路

[0005]本公开提供一种视频文件分词方法、装置及电子设备，用于解决相关技术中视频文件对应的分词结果准确率较低的技术问题。本公开的技术方案如下：
[0006]本公开实施例的第一方面，提供一种视频文件分词方法，所述方法包括：
[0007]确定待处理的视频文件，提取所述待处理的视频文件的多个图像帧；
[0008]对所述多个图像帧进行文本检测处理，获得第一特征图和第二特征图；其中，所述第一特征图包括所述多个图像帧中均存在的处于同一位置且文本内容相同的全局文本特征以及所述全局文本特征对应的第一区域位置；所述第二特征图包括所述多个图像帧中任一文本内容对应的基础文本特征；
[0009]基于所述第一特征图中的全局文本特征，对所述基础文本特征进行视频信息增强，获得所述多个图像帧的局部文本特征；
[0010]根据所述多个图像帧对应的局部文本特征、以及所述局部文本特征对应的区域位置与所述第一区域位置对应的关系，确定是否结合所述第一特征图对所述局部文本特征对应的分词文本进行分词，以获得分词结果。
[0011]在一种可能的实施方式中，对所述多个图像帧进行文本检测处理，获得第一特征图和第二特征图，包括：
[0012]对所述多个图像帧进行文本检测处理，获得文本特征图集；所述文本特征图集包括从所述多个图像帧中截取的包括文字的特征图；
[0013]基于所述文本特征图集，从所述多个图像帧中筛选任意两个图像帧中同一文字所对应的两个特征图，并确定所述两个特征图对应的区域满足第一预设条件，且确定所述两个特征图对应的区域的面积为满足所述第一预设条件的特征图中区域面积最大的，则将所述两个特征图作为所述第一特征图；
[0014]将所述文本特征图中除所述第一特征图外的特征图作为所述第二特征图。
[0015]在一种可能的实施方式中，所述第一预设条件为：所述两个特征图对应的区域映射到同一图像帧中，所述两个特征图对应的区域之间的距离属于第一预设范围；和/或，所述两个特征图所处的区域属于预设位置区域。
[0016]在一种可能的实施方式中，根据所述多个图像帧对应的局部文本特征、以及所述局部文本特征对应的区域位置与所述第一区域位置对应的关系，确定是否结合所述第一特征图对所述局部文本特征对应的分词文本进行分词，以获得分词结果，包括：
[0017]确定任一所述局部文本特征对应的第三区域位置；
[0018]确定所述第三区域位置与对应的所述第一区域位置所对应的第一距离，并确定所述第一距离是否属于第二预设范围；
[0019]当确定所述第一距离属于所述第二预设范围时，将所述局部文本特征对应的分词文本中与对应的所述第一特征图对应的文本中相同的文字作为词组；
[0020]将所述局部文本特征对应的分词文本中除所述词组外的文字，基于自然语言分词规则进行分词，获得第一分词结果，并将所述词组和所述第一分词结果作为分词结果；
[0021]当确定所述第一距离不属于所述第一预设范围时，基于所述自然语言分词规则，对所述局部文本特征对应的分词文本进行分词，获得分词结果。
[0022]本公开实施例的第二方面，提供一种视频文件分词装置，所述装置包括：
[0023]提取单元，被配置为执行确定待处理的视频文件，提取所述待处理的视频文件的多个图像帧；
[0024]获得单元，被配置为执行对所述多个图像帧进行文本检测处理，获得第一特征图和第二特征图；其中，所述第一特征图包括所述多个图像帧中均存在的处于同一位置且文本内容相同的全局文本特征以及所述全局文本特征对应的第一区域位置；所述第二特征图包括所述多个图像帧中任一文本内容对应的基础文本特征；
[0025]处理单元，被配置为执行基于所述第一特征图中的全局文本特征，对所述基础文本特征进行视频信息增强，获得所述多个图像帧的局部文本特征；
[0026]分词单元，被配置为执行根据所述多个图像帧对应的局部文本特征、以及所述局部文本特征对应的区域位置与所述第一区域位置对应的关系，确定是否结合所述第一特征图对所述局部文本特征对应的分词文本进行分词，以获得分词结果。
[0027]在一种可能的实施方式中，所述获得单元被配置为执行：
[0028]对所述多个图像帧进行文本检测处理，获得文本特征图集；所述文本特征图集包括从所述多个图像帧中截取的包括文字的特征图；
[0029]基于所述文本特征图集，从所述多个图像帧中筛选任意两个图像帧中同一文字所对应的两个特征图，并确定所述两个特征图对应的区域满足第一预设条件，且确定所述两个特征图对应的区域的面积为满足所述第一预设条件的特征图中区域面积最大的，则将所述两个特征图作为所述第一特征图；
[0030]将所述文本特征图中除所述第一特征图外的特征图作为所述第二特征图。
[0031]在一种可能的实施方式中，所述第一预设条件为：所述两个特征图对应的区域映射到同一图像帧中，所述两个特征图对应的区域之间的距离属于第一预设范围；和/或，所述两个特征图所处的区域属于预设位置区域。
[0032]在一种可能的实施方式中，所述分词单元被配置为执行：
[0033]确定任一所述局部文本特征对应的第三区域位置；
[0034]确定所述第三区域位置与对应的所述第一区域位置所对应的第一距离，并确定所述第一距离是否属于第二预设范围；
[0035]当确定所述第一距离属于所述第二预设范围时，将所述局部文本特征对应的分词文本中与对应的所述第一特征图对应的文本中相同的文字作为词组；
[0036]将所述局部文本特征对应的分词文本中除所述词组外的文字，基于自然语言分词规则进行分词，获得第一分词结果，并将所述词组和所述第一分词结果作为分词结果；
[0037]当确定所述第一距离不属于所述第一预设范围时，基于所述自然语言分词规则，对所述局部文本特征对应的分词文本本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种视频文件分词方法，其特征在于，所述方法包括：确定待处理的视频文件，提取所述待处理的视频文件的多个图像帧；对所述多个图像帧进行文本检测处理，获得第一特征图和第二特征图；其中，所述第一特征图包括所述多个图像帧中均存在的处于同一位置且文本内容相同的全局文本特征以及所述全局文本特征对应的第一区域位置；所述第二特征图包括所述多个图像帧中任一文本内容对应的基础文本特征；基于所述第一特征图中的全局文本特征，对所述基础文本特征进行视频信息增强，获得所述多个图像帧的局部文本特征；根据所述多个图像帧对应的局部文本特征、以及所述局部文本特征对应的区域位置与所述第一区域位置对应的关系，确定是否结合所述第一特征图对所述局部文本特征对应的分词文本进行分词，以获得分词结果。2.如权利要求1所述的方法，其特征在于，对所述多个图像帧进行文本检测处理，获得第一特征图和第二特征图，包括：对所述多个图像帧进行文本检测处理，获得文本特征图集；所述文本特征图集包括从所述多个图像帧中截取的包括文字的特征图；基于所述文本特征图集，从所述多个图像帧中筛选任意两个图像帧中同一文字所对应的两个特征图，并确定所述两个特征图对应的区域满足第一预设条件，且确定所述两个特征图对应的区域的面积为满足所述第一预设条件的特征图中区域面积最大的，则将所述两个特征图作为所述第一特征图；将所述文本特征图中除所述第一特征图外的特征图作为所述第二特征图。3.如权利要求2所述的方法，其特征在于，所述第一预设条件为：所述两个特征图对应的区域映射到同一图像帧中，所述两个特征图对应的区域之间的距离属于第一预设范围；和/或，所述两个特征图所处的区域属于预设位置区域。4.如权利要求1
‑
3任一所述的方法，其特征在于，根据所述多个图像帧对应的局部文本特征、以及所述局部文本特征对应的区域位置与所述第一区域位置对应的关系，确定是否结合所述第一特征图对所述局部文本特征对应的分词文本进行分词，以获得分词结果，包括：确定任一所述局部文本特征对应的第三区域位置；确定所述第三区域位置与对应的所述第一区域位置所对应的第一距离，并确定所述第一距离是否属于第二预设范围；当确定所述第一距离属于所述第二预设范围时，将所述局部文本特征对应的分词文本中与对应的所述第一特征图对应的文本中相同的文字作为词组；将所述局部文本特征对应的分词文本中除所述词组外的文字，基于自然语言分词规则进行分词，获得第一分词结果，并将所述词组和所述第一分词结果作为分词结果；当确...

【专利技术属性】
技术研发人员：周湘阳，蒋萧泽，梅丰，肖秋实，李岩，
申请(专利权)人：北京达佳互联信息技术有限公司，
类型：发明
国别省市：