一种视频处理的方法、装置、可读存储介质和电子设备制造方法及图纸

本发明专利技术实施例公开了一种视频处理的方法、装置、可读存储介质和电子设备。本发明专利技术实施例通过获取至少两个图像序列；根据所述至少两个图像序列确定过渡图像集合，其中，所述过渡图像集合包括多个过渡图像，所述过渡图像为所述图像序列的中位于开始部分或最后部分的预定位置的图像；根据所述过渡图像集合确定目标图像；基于所述目标图像对所述至少两个图像序列进行拼接处理，得到目标图像序列。通过上述方法，通过目标图像将任意两个图像序列进行拼接，无需确定图像序之间段顺序，实现了多个视频之间的无顺序拼接，降低了视频交替播放过程中的卡顿。

【技术实现步骤摘要】
一种视频处理的方法、装置、可读存储介质和电子设备
本专利技术涉及视频处理领域，具体涉及一种视频处理的方法、装置、可读存储介质和电子设备。
技术介绍
随着互联网应用的发展，在线教学、智能客服等在人们的日常生活使用越来越广泛，面对不同的应用场景，有时需要预先录制多个视频，然后对多个视频进行拼接，得到长视频。例如：在线教学的录播课场景中，需要对多个分段录制的录播课片段进行拼接成一个完整的上课视频。现有技术中的视频拼接的过程中，会由于平滑度不够，造成卡顿感，例如：直接拼接会导致在第一个视频和第二个视频之间会发生瞬移和闪现等问题，造成用户体验效果差；并且，现有技术中视频的拼接顺序是固定的，无法适应动态交互的情况，例如，在线教学的课程中会存在动态互动的环节，学生会无顺序的提出多种问题，如何对教师预先录制的多个视频进行拼接，才可以在动态交互过程中实现与学生的无障碍交流，是目前需要解决的问题。
技术实现思路
有鉴于此,本专利技术实施例提供了一种视频处理的方法、装置、可读存储介质和电子设备，实现多个视频之间的无顺序拼接，且降低了视频交替播放过程中的卡顿。第一方面，本专利技术实施例提供了一种视频处理的方法，该方法包括：获取至少两个图像序列；根据所述至少两个图像序列确定过渡图像集合，其中，所述过渡图像集合包括多个过渡图像，所述过渡图像为所述图像序列的中位于开始部分或最后部分的预定位置的图像；根据所述过渡图像集合确定目标图像；基于所述目标图像对所述至少两个图像序列进行拼接处理，得到目标图像序列。在一个实施例中，所述根据所述过渡图像集合确定目标图像，具体包括：在所述过渡图像集合中，确定与剩余的图像差异最小的图像作为所述目标图像。在一个实施例中，所述预定位置为所述图像序列的起始位置或者终止位置。在一个实施例中，所述至少两个图像序列包括第一图像序列和第二图像序列，拼接顺序为所述第一图像序列在前，所述第二图像序列在后；所述基于所述目标图像对所述至少两个图像序列进行拼接处理，得到目标图像序列，具体包括：将所述第一图像序列的所述终止位置对应的图像以及所述第二图像序列的所述起始位置对应的图像替换为所述目标图像；将替换后的第一图像序列和替换后的第二图像序列拼接为目标图像序列。在一个实施例中，该方法还包括：将所述替换后的第一图像序列中设定时长的所述最后部分的图像序列进行平滑处理；将所述替换后的第二图像序列中所述设定时长的所述开始部分的图像序列进行平滑处理。在一个实施例中，所述将所述替换后的第一图像序列中设定时长的所述最后部分的图像序列进行平滑处理，具体包括：确定第一图像的时间戳，所述第一图像为替换后的所述第一图像序列中时间戳早于所述目标图像的图像；确定所述第一图像与所述目标图像的相似度；响应于所述相似度满足预定相似度条件，基于预先训练的第一模型，根据所述第一图像与所述目标图像确定对应的正向光流场向量以及逆向光流场向量，所述正向光流场向量用于表征所述第一图像与所述目标图像的正向光流，所述逆向光流场向量用于表征所述第一图像与所述目标图像的逆向光流；基于预先训练的第二模型，根据所述正向光流场向量以及所述逆向光流场向量确定至少一个中间图像，所述中间图像为所述第一图像与所述目标图像之间的图像。在一个实施例中，所述确定所述第一图像与所述目标图像的相似度，具体包括：计算所述第一图像与所述目标图像的光流相似度作为所述相似度。在一个实施例中，所述基于预先训练的第二模型，根据所述正向光流场向量以及所述逆向光流场向量确定至少一个中间图像，具体包括：根据所述正向光流以及所述逆向光流确定第一近似光流场向量以及第二近似光流场向量，所述第一近似光流场向量用于表征中间时刻的正向近似光流，所述第二近似光流场向量用于表征所述中间时刻的逆向近似光流；根据所述第一图像以及所述第一近似光流场向量确定第一插值函数；根据所述目标图像以及所述第二近似光流场向量确定第二插值函数；以所述第一图像、所述目标图像、所述第一近似光流场向量、所述第二近似光流场向量、所述第一插值函数以及所述第二插值函数为所述第二模型的输入，确定所述中间时刻的正向可视图、逆向可视图、第一增量和第二增量，所述第一增量用于表征所述第一近似光流场向量在所述中间时刻的增量，所述第二增量用于表征所述第二近似光流场向量在所述中间时刻的增量；根据所述第一图像、所述目标图像、所述正向可视图、所述逆向可视图、第一增量以及所述第二增量确定所述中间时刻对应的所述中间图像。在一个实施例中，所述第一模型以及所述第二模型通过如下方式训练：获取多个图像组，所述图像组中包括第一图像样本、目标图像样本和至少一个中间图像样本，所述第一图像样本、目标图像样本和所述中间图像样本为同一图像序列中的不同图像；以各所述图像组中的所述第一图像样本和所述目标图像样本为输入，以对应的所述中间图像样本为训练目标，对所述第一模型以及所述第二模型同时进行训练，直至所述第一模型以及所述第二模型的损失函数收敛。在一个实施例中，所述损失函数用于表征所述第一模型以及第二模型的重建损失、语义损失、扭曲损失以及平滑损失。在一个实施例中，所述方法还包括：根据所述目标图像序列以及对应的音频序列确定目标视频。第二方面，本专利技术实施例提供了一种视频处理的装置，该装置包括：获取单元，用于获取至少两个图像序列；确定单元，用于根据所述至少两个图像序列确定过渡图像集合，其中，所述过渡图像集合包括多个过渡图像，所述过渡图像为所述图像序列的中位于开始部分或最后部分的预定位置的图像；所述确定单元还用于，根据所述过渡图像集合确定目标图像；处理单元，用于基于所述目标图像对所述至少两个图像序列进行拼接处理，得到目标图像序列。在一个实施例中，所述确定单元具体用于：在所述过渡图像集合中，确定与剩余的图像差异最小的图像作为所述目标图像。在一个实施例中，所述预定位置为所述图像序列的起始位置或者终止位置。在一个实施例中，所述至少两个图像序列包括第一图像序列和第二图像序列，拼接顺序为所述第一图像序列在前，所述第二图像序列在后；所述处理单元具体用于：将所述第一图像序列的所述终止位置对应的图像以及所述第二图像序列的所述起始位置对应的图像替换为所述目标图像；将替换后的第一图像序列和替换后的第二图像序列拼接为目标图像序列。在一个实施例中，所述处理单元还用于，将所述替换后的第一图像序列中设定时长的所述最后部分的图像序列进行平滑处理；将所述替换后的第二图像序列中所述设定时长的所述开始部分的图像序列进行平滑处理。在一个实施例中，所述处理单元具体用于：确定第一图像的时间戳，所述第一图像为替换后的所述第一图像序列中时间戳早于所述目标图像的图像；确定所述第一图像与所述目标图像的相似度；...

【技术保护点】
1.一种视频处理的方法，其特征在于，该方法包括：/n获取至少两个图像序列；/n根据所述至少两个图像序列确定过渡图像集合，其中，所述过渡图像集合包括多个过渡图像，所述过渡图像为所述图像序列的中位于开始部分或最后部分的预定位置的图像；/n根据所述过渡图像集合确定目标图像；/n基于所述目标图像对所述至少两个图像序列进行拼接处理，得到目标图像序列。/n

【技术特征摘要】
1.一种视频处理的方法，其特征在于，该方法包括：
获取至少两个图像序列；
根据所述至少两个图像序列确定过渡图像集合，其中，所述过渡图像集合包括多个过渡图像，所述过渡图像为所述图像序列的中位于开始部分或最后部分的预定位置的图像；
根据所述过渡图像集合确定目标图像；
基于所述目标图像对所述至少两个图像序列进行拼接处理，得到目标图像序列。


2.如权利要求1所述的方法，其特征在于，所述根据所述过渡图像集合确定目标图像，具体包括：
在所述过渡图像集合中，确定与剩余的图像差异最小的图像作为所述目标图像。


3.如权利要求1所述的方法，其特征在于，所述预定位置为所述图像序列的起始位置或者终止位置。


4.如权利要求3所述的方法，其特征在于，所述至少两个图像序列包括第一图像序列和第二图像序列，拼接顺序为所述第一图像序列在前，所述第二图像序列在后；
所述基于所述目标图像对所述至少两个图像序列进行拼接处理，得到目标图像序列，具体包括：
将所述第一图像序列的所述终止位置对应的图像以及所述第二图像序列的所述起始位置对应的图像替换为所述目标图像；
将替换后的第一图像序列和替换后的第二图像序列拼接为目标图像序列。


5.如权利要求4所述的方法，其特征在于，该方法还包括：
将所述替换后的第一图像序列中设定时长的所述最后部分的图像序列进行平滑处理；
将所述替换后的第二图像序列中所述设定时长的所述开始部分的图像序列进行平滑处理。


6.如权利要求5所述的方法，其特征在于，所述将所述替换后的第一图像序列中设定时长的所述最后部分的图像序列进行平滑处理，具体包括：
确定第一图像的时间戳，所述第一图像为替换后的所述第一图像序列中时间戳早于所述目标图像的图像；<...

【专利技术属性】
技术研发人员：李旭，李梦醒，
申请(专利权)人：北京大米科技有限公司，
类型：发明
国别省市：北京;11