【技术实现步骤摘要】
【国外来华专利技术】用于确定视频中的运动显著性和视频回放风格的方法和电子装置
[0001]本公开涉及内容分析系统,并且例如涉及一种用于确定视频中的运动显著性和视频回放风格的方法和电子装置。
技术介绍
[0002]电子装置包括使用视频数据自动处理用户要求的智能相机系统。视频数据可包括帧视觉细节、跨帧时间信息(例如,运动)及音频流信息。此外,运动信息(跨帧时间信息)对于视频是唯一的,并且携带关于视频中的动作的丰富信息。此外,对视频中的重要运动信息进行学习将有助于网络对可在大量视频分析任务上使用的强时空特征进行学习,并且理解其模式可有助于更好的视频合成风格,这可增加整体视频美感。但是,在传统方法中,没有可用于对视频中的不同回放风格进行分类的方法。此外,不存在用于自动智能视频分析的竞争者或第三方解决方案。此外,所有可用的视频编辑方法都需要人通过手动选择视频回放类型和速度来从视频中编辑和生成有趣的剪辑。
技术实现思路
[0003]技术方案
[0004]根据本公开的各种示例实施例,提供了一种用于由电子装置确定视频中的运动显著性和视频 ...
【技术保护点】
【技术特征摘要】
【国外来华专利技术】1.一种用于由电子装置(100)确定视频中的运动显著性和视频回放风格的方法,其中,所述方法包括:由电子装置检测所述视频的至少一个图像帧中的第一对象和第二对象;由电子装置确定所述视频中的第一对象和第二对象的运动类型;由电子装置确定所述视频中的第一对象和第二对象的运动速度;由电子装置基于第一对象和第二对象的运动类型以及第一对象和第二对象的运动速度来确定将应用于第一对象的第一效果和将应用于第二对象的第二效果;以及由电子装置将第一效果应用于第一对象并且将第二效果应用于第二对象。2.如权利要求1所述的方法,其中,由电子装置确定将应用于第一对象的第一效果和将应用于第二对象的第二效果的步骤包括:由电子装置通过将至少一个基于运动的机器学习模型应用于第一对象和第二对象的运动类型以及第一对象和第二对象的运动速度,将第一对象和第二对象的运动分类为至少一个指定类别;以及由电子装置基于第一对象和第二对象的至少一个运动类别来预测将应用于第一对象的第一效果和将应用于第二对象的第二效果。3.如权利要求2所述的方法,其中,所述方法包括:由电子装置训练所述至少一个基于运动的训练模型以预测第一效果和第二效果,其中,训练所述至少一个基于运动的训练模型的步骤包括:确定所述视频中的多个运动提示,其中,所述多个运动提示包括所述视频的时间运动特征、空间运动特征和时空知识;确定所述视频中的多个运动因子,其中,所述多个运动因子包括所述视频中的每个对象的运动的方向、所述视频中的每个对象的运动模式、所述视频中的运动的能量水平、以及所述视频中的运动的显著性图;以及基于所述多个运动提示和所述多个运动因子训练所述至少一个基于运动的训练模型,以预测将应用于第一对象的第一效果和将应用于第二对象的第二效果。4.如权利要求1所述的方法,其中,由电子装置将第一效果应用于第一对象并且将第二效果应用于第二对象的步骤包括:由电子装置确定第一对象的大小和第一对象在所述视频的所述至少一个图像帧中处于运动中的持续时间;由电子装置确定第二对象的大小和第二对象在所述视频的所述至少一个图像帧中处于运动中的持续时间;由电子装置基于第一对象的大小、第一对象的持续时间、第二对象的大小和第二对象的持续时间来确定第一对象和第二对象两者在所述视频的所述至少一个图像帧中同时处于运动中的时间段;以及由电子装置在确定的时间段期间将第一效果应用于第一对象并且将第二效果应用于第二对象。5.如权利要求1所述的方法,其中,由电子装置确定所述视频中的第一对象和第二对象的运动类型的步骤包括:由电子装置在第一时间间隔确定第一对象的运动类型;以及
由电子装置在第二时间间隔确定第二对象的运动类型,其中,第一时间间隔不同于第二时间间隔。6.如权利要求1所述的方法,其中,由电子装置确定所述视频中的第一对象和第二对象的运动速度的步骤包括:由电子装置在第一时间间隔确定第一对象的运动速度;以及由电子装置在第二时间间隔确定第二对象的运动速度,其中,第一时间间隔不同于第二时间间隔。7.如权利要求1所述的方法,其中,第一效果包括第一风格效果和第一帧速率速度效果中的至少一个;并且其中,第二效果包括第二风格效果和第二帧速率速度效果中的至少一个。8.一种被配置为确定视频中的运动显著性和视频回放风格的电子装置,其中,所述电子装置包括:存储器,存储视...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。