基于视频的内容生成方法、装置及电子设备制造方法及图纸

本公开公开了基于视频的内容生成方法，涉及图像处理技术领域，尤其涉及自然语言处理、图像识别、光学字符识别等领域。具体实现方案为：将视频进行切帧处理，获取视频中包含的图片序列后，可以根据图片序序列，确定视频中包含的关键图片及文本信息，之后，可以将各个图片中包含的文本信息进行融合，以生成文本内容，然后，可以将关键图片插入文本内容中，以生成与视频对应的目标内容。由此，通过将视频内容，转化为图文内容，不仅丰富了内容素材，提高了视频内容的可读性，而且为节省用户阅读素材的时间提供了条件。的时间提供了条件。的时间提供了条件。

【技术实现步骤摘要】
基于视频的内容生成方法、装置及电子设备


[0001]本公开涉及图像处理
，尤其涉及自然语言处理、图像识别、光学字符识别等领域，具体涉及基于视频的内容生成方法、装置及电子设备。

技术介绍

[0002]在互联网中，存在着大量的视频素材，但是视频素材的阅读会耗费大量的时间。因此，如何基于视频生成可快速阅读的内容是亟需解决的问题。

技术实现思路

[0003]本公开提供了一种基于视频的内容生成方法和装置。
[0004]根据本公开的一方面，提供了一种基于视频的内容生成方法，包括：
[0005]将视频进行切帧处理，以获取所述视频中包含的图片序列；
[0006]对所述图片序列中的每个所述图片进行文字识别，以确定每个所述图片中包含的文本信息及所述文本信息在所述图片中的位置；
[0007]根据每个所述图片中包含的文本信息和/或所述文本信息在所述图片中的位置，确定所述视频中包含的关键图片；
[0008]根据所述图片序列中包含的图片的顺序，将各个所述图片中包含的文本信息进行融合，以生成文本内容；
[本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于视频的内容生成方法，包括：将视频进行切帧处理，以获取所述视频中包含的图片序列；对所述图片序列中的每个所述图片进行文字识别，以确定每个所述图片中包含的文本信息及所述文本信息在所述图片中的位置；根据每个所述图片中包含的文本信息和/或所述文本信息在所述图片中的位置，确定所述视频中包含的关键图片；根据所述图片序列中包含的图片的顺序，将各个所述图片中包含的文本信息进行融合，以生成文本内容；根据所述关键图片中包含的文本信息在所述文本内容中的位置，将所述关键图片插入所述文本内容中，以生成与所述视频对应的目标内容。2.如权利要求1所述的方法，其中，所述根据每个所述图片中包含的文本信息和/或所述文本信息在所述图片中的位置，确定所述视频中包含的关键图片，包括：在多个相邻的图片中包含的文本信息相同的情况下，确定所述多个相邻的图片中的任一图片为关键图片；或者，在任一图片中包含的文本信息在所述图片中的预设位置的情况下，确定所述任一图片为关键图片。3.如权利要求2所述的方法，其中，在所述确定所述视频中包含的关键图片之后，还包括：对所述关键图片进行人脸识别，以确定所述关键图片中是否存在人脸区域及所述人脸区域的清晰度；在所述关键图片中未包含人脸区域的情况下，保留所述关键图片；在所述关键图片中包含人脸区域、且所述人脸区域的清晰度大于或等于阈值的情况下，保留所述关键图片；在所述关键图片中包含人脸区域、且所述人脸区域的清晰度小于所述阈值的情况下，丢弃所述关键图片。4.如权利要求1所述的方法，其中，在所述将各个所述图片中包含的文本信息进行融合，以生成文本内容之前，还包括：将每个所述图片中包含的文本信息进行去重处理，以获取待融合的文本信息。5.如权利要求1
‑
4任一所述的方法，其中，所述将各个所述图片中包含的文本信息进行融合，以生成文本内容，包括：将每相邻的两个文本信息输入预设的网络模型，以根据所述网络模型的输出，确定所述两个文本信息间的标点符号的类型；基于每相邻的两个文本信息间的标点符号的类型，将各个所述图片中包含的文本信息进行融合，以生成所述文本内容。6.如权利要求1
‑
4任一所述的方法，其中，所述将各个所述图片中包含的文本信息进行融合，以生成文本内容，包括：确定每相邻的两个文本信息间的语义关联度；根据所述语义关联度及所述两个文本信息对应的两个图片间的时间间隔，确定每相邻的两个文本信息间的标点符号的类型；
基于每相邻的两个文本信息间的标点符号的类型，将各个所述图片中包含的文本信息进行融合，以生成所述文本内容。7.一种基于视频的内容生成装置，包括：切帧模块，用于将视频进行切帧处理，以获取所述视频中包含的图片序列；识别模块，用于对所述图片序列中的每个所述图片进行文字识别，以确定每个所述图片中包含的文本信息及所述文本信息...

【专利技术属性】
技术研发人员：黄焱晖，卞东海，蔡远俊，彭卫华，徐伟建，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：