基于人工智能的视频生成方法、装置、计算机设备及介质制造方法及图纸

本申请提供了一种基于人工智能的视频生成方法、装置、计算机设备及介质，属于视频处理技术领域。本申请通过在获取到待处理的视频和要生成的目标视频对应的目标视频类型后，基于通过人工智能的图像处理技术提取出的视频中视频帧的图片特征、动作特征和动作特征的标签，来将视频划分成至少一个候选时间段，并确定至少一个候选时间段所对应的事件类型，根据至少一个候选时间段和目标视频类型所指示的目标事件类型，从视频中确定出目标事件类型对应的至少一个视频片段，进而对这至少一个视频片段进行批量处理，基于这至少一个视频片段生成仅包括目标事件类型对应的事件的目标视频，实现视频剪辑，无需人工进行处理，提高视频处理效率。理效率。理效率。

【技术实现步骤摘要】
基于人工智能的视频生成方法、装置、计算机设备及介质


[0001]本申请涉及视频处理
，特别涉及一种基于人工智能的视频生成方法、装置、计算机设备及介质。

技术介绍

[0002]随着技术的进步和人民生活水平的提高，人们的休闲娱乐活动越来越丰富，视频逐渐成为人们日常生活中用于休闲娱乐的一种重要载体。视频种类繁多，如电视连续剧、电影、各类比赛视频(如足球比赛、篮球比赛等)、综艺节目、纪录片等等，这些视频中都会有一些非常出彩的片段，通过将这部分非常出彩的片段剪辑成一个新的视频，以便用户直接通过观看剪辑后得到的视频，来对视频中的精彩内容进行观看。
[0003]目前只能通过人工剪辑的方式，来对视频进行剪辑，从而导致视频处理效率较低。

技术实现思路

[0004]本申请实施例提供了一种基于人工智能的视频生成方法、装置、计算机设备及介质，能够提高视频处理效率。本申请实施例的技术方案如下：
[0005]一方面，提供了一种基于人工智能的视频生成方法，该方法包括：
[0006]获取待处理的视频和对应的目标视频类型，该目标视频类型用于指示待从该视频中获取的视频片段对应的事件类型；
[0007]基于该视频中视频帧的图片特征、动作特征和该动作特征的标签，确定该视频的至少一个候选时间段以及该至少一个候选时间段所对应的事件类型，该标签用于指示该动作特征对应的事件类型；
[0008]根据该至少一个候选时间段以及该至少一个候选时间段所对应的事件类型，确定该目标视频类型所指示的目标事件类型对应的至少一个视频片段；
[0009]基于该至少一个视频片段，生成目标视频。
[0010]在一种可能的实现方式中，该基于该视频中视频帧的图片特征、动作特征和该动作特征的标签，确定该视频的至少一个候选时间段以及该至少一个候选时间段所对应的事件类型之前，该方法还包括：
[0011]每隔目标时长，对该视频进行抽帧处理，得到该视频中的视频帧。
[0012]一方面，提供了一种基于人工智能的视频生成装置，该装置包括：
[0013]获取模块，用于获取待处理的视频和对应的目标视频类型，该目标视频类型用于指示待从该视频中获取的视频片段对应的事件类型；
[0014]第一确定模块，用于基于该视频中视频帧的图片特征、动作特征和该动作特征的标签，确定该视频的至少一个候选时间段以及该至少一个候选时间段所对应的事件类型，该标签用于指示该动作特征对应的事件类型；
[0015]第二确定模块，用于根据该至少一个候选时间段以及该至少一个候选时间段所对应的事件类型，确定该目标视频类型所指示的目标事件类型对应的至少一个视频片段；
[0016]生成模块，用于基于该至少一个视频片段，生成目标视频。
[0017]在一种可能的实现方式中，该装置还包括：
[0018]第一识别模块，用于将该视频帧输入图片识别模型，通过该图片识别模型对该视频帧进行识别，输出该视频帧的图片特征；
[0019]第二识别模块，用于将该视频帧输入动作识别模型，通过该动作识别模型对该视频帧进行识别，输出该视频帧的动作特征和该动作特征的标签。
[0020]在一种可能的实现方式中，该第一识别模块，用于将该视频帧输入该图片识别模型，通过该图片识别模型的卷积层，提取该视频帧的图片特征，输出该图片特征。
[0021]在一种可能的实现方式中，该第二识别模块，用于以目标数量的视频帧为一组，将该视频帧逐组输入该动作识别模型，通过该动作识别模型的卷积层，提取该视频帧的动作特征，通过该动作识别模型的全连接层，确定该动作特征的标签，输出该动作特征和该动作特征的标签。
[0022]在一种可能的实现方式中，该图片识别模型和该动作识别模型的训练过程包括：
[0023]获取第一训练数据集，该第一训练数据集包括第一样本图片和该第一样本图片的第一样本标注信息，该第一样本标注信息用于指示该第一样本图片对应的事件类型，基于该第一训练数据集训练该图片识别模型；
[0024]获取第二训练数据集，该第二训练数据集包括第二样本图片和该第二样本图片的第二样本标注信息，该第二样本标注信息用于指示该第二样本图片对应的事件类型，基于该第二训练数据集训练该行为识别模型。
[0025]在一种可能的实现方式中，该第一确定模块包括第一确定单元和第二确定单元；
[0026]该第一确定单元，用于基于该图片特征和该动作特征，通过时序分割模型，确定该至少一个候选时间段；
[0027]该第二确定单元，用于基于该至少一个候选时间段和该至少一个候选时间段所包括的动作特征的标签，确定该至少一个候选时间段所对应的事件类型。
[0028]在一种可能的实现方式中，该第一确定单元，用于对该图片特征和该动作特征进行融合，得到融合特征，将该融合特征输入该时序分割模型，通过该时序分割模型，输出该至少一个候选时间段的起止时间信息，基于该至少一个候选时间段的起止时间信息，确定该至少一个候选时间段。
[0029]在一种可能的实现方式中，该第二确定单元，用于对于该至少一个候选时间段中任一候选时间段，确定该任一候选时间段中属于不同种类的标签的数量，将数量最多的标签所指示的事件类型，确定为该任一候选时间段所对应的事件类型。
[0030]在一种可能的实现方式中，该时序分割模型的训练过程包括：
[0031]获取第三训练数据集，该第三训练数据集包括样本视频、该样本视频的样本起止时间信息和该样本视频所包括的样本事件类型；
[0032]基于该第三训练数据集训练该时序分割模型。
[0033]在一种可能的实现方式中，该装置还包括：
[0034]第三确定模块，用于对于该至少一个候选时间段中任一候选时间段，确定该任一候选时间段中视频帧的灰度分布信息；
[0035]该第三确定模块，还用于基于该任一候选时间段中相邻两个视频帧的灰度分布信
息，确定该相邻两个视频帧的灰度分布相似度；
[0036]该第三确定模块，还用于若该灰度分布相似度小于目标阈值，则将该相邻两个视频帧的时间信息中所指示的时刻最小的时间信息，确定为该任一候选时间段的起止时间信息。
[0037]在一种可能的实现方式中，该装置还包括：
[0038]第四确定模块，用于确定该至少一个候选时间段中起始视频帧和终止视频帧所包括的数值信息，该起始视频帧为该至少一个候选时间段中所指示的时刻最小的时间信息对应的视频帧，该终止视频帧为该至少一个候选时间段中所指示的时刻最大的时间信息对应的视频帧；
[0039]添加模块，用于对于该至少一个候选时间段中任一候选时间段，若该任一候选时间段的起始视频帧所包括的数值信息，与该任一候选时间段的终止视频帧所包括的数值信息不同，则将预设事件类型添加至该任一候选时间段对应的事件类型中。
[0040]在一种可能的实现方式中，该添加模块，还用于对于该至少一个候选时间段中相邻两个候选时间段，若该相邻两个候选时间段中第一候本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于人工智能的视频生成方法，其特征在于，所述方法包括：获取待处理的视频和对应的目标视频类型，所述目标视频类型用于指示待从所述视频中获取的视频片段对应的事件类型；基于所述视频中视频帧的图片特征、动作特征和所述动作特征的标签，确定所述视频的至少一个候选时间段以及所述至少一个候选时间段所对应的事件类型，所述标签用于指示所述动作特征对应的事件类型；根据所述至少一个候选时间段以及所述至少一个候选时间段所对应的事件类型，确定所述目标视频类型所指示的目标事件类型对应的至少一个视频片段；基于所述至少一个视频片段，生成目标视频。2.根据权利要求1所述的方法，其特征在于，所述基于所述视频中视频帧的图片特征、动作特征和所述动作特征的标签，确定所述视频的至少一个候选时间段以及所述至少一个候选时间段所对应的事件类型之前，所述方法还包括：将所述视频帧输入图片识别模型，通过所述图片识别模型对所述视频帧进行识别，输出所述视频帧的图片特征；将所述视频帧输入动作识别模型，通过所述动作识别模型对所述视频帧进行识别，输出所述视频帧的动作特征和所述动作特征的标签。3.根据权利要求2所述的方法，其特征在于，所述将所述视频帧输入图片识别模型，通过所述图片识别模型对所述视频帧进行识别，输出所述视频帧的图片特征包括：将所述视频帧输入所述图片识别模型，通过所述图片识别模型的卷积层，提取所述视频帧的图片特征，输出所述图片特征。4.根据权利要求2所述的方法，其特征在于，所述将所述视频帧输入动作识别模型，通过所述动作识别模型对所述视频帧进行识别，输出所述视频帧的动作特征和所述动作特征的标签包括：以目标数量的视频帧为一组，将所述视频帧逐组输入所述动作识别模型，通过所述动作识别模型的卷积层，提取所述视频帧的动作特征；通过所述动作识别模型的全连接层，确定所述动作特征的标签；输出所述动作特征和所述动作特征的标签。5.根据权利要求2所述的方法，其特征在于，所述图片识别模型和所述动作识别模型的训练过程包括：获取第一训练数据集，所述第一训练数据集包括第一样本图片和所述第一样本图片的第一样本标注信息，所述第一样本标注信息用于指示所述第一样本图片对应的事件类型，基于所述第一训练数据集训练所述图片识别模型；获取第二训练数据集，所述第二训练数据集包括第二样本图片和所述第二样本图片的第二样本标注信息，所述第二样本标注信息用于指示所述第二样本图片对应的事件类型，基于所述第二训练数据集训练所述行为识别模型。6.根据权利要求1所述的方法，其特征在于，所述基于所述视频中视频帧的图片特征、动作特征和所述动作特征的标签，确定所述视频的至少一个候选时间段以及所述至少一个候选时间段所对应的事件类型包括：基于所述图片特征和所述动作特征，通过时序分割模型，确定所述至少一个候选时间
段；基于所述至少一个候选时间段和所述至少一个候选时间段所包括的动作特征的标签，确定所述至少一个候选时间段所对应的事件类型。7.根据权利要求6所述的方法，其特征在于，所述基于所述图片特征和所述动作特征，通过时序分割模型，确定所述至少一个候选时间段包括：对所述图片特征和所述动作特征进行融合，得到融合特征；将所述融合特征输入所述时序分割模型，通过所述时序分割模型，输出所述至少一个候选时间段的起止时间信息；基于所述至少一个候选时间段的起止时间信息，确定所述至少一个候选时间段。8.根据权利要求6所述的方法，其特征在于，所述基于所述至少一个候选时间段和所述至少一个候选时间段所包括的动作特征的标签，确定所述至少一个候选时间段所对应的事件类型包括：对于所述至少一个候选时间段中任一候选时间段，确定所述任一候选时间段中属于不同种类的标签的数量；...

【专利技术属性】
技术研发人员：谭维，田思达，袁微，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：