本发明专利技术公开了一种基于计算机视觉的视频切片方法、系统、设备及介质，方法包括：本发明专利技术实施例对待切片视频进行解码并输出视频帧图片；对所述视频帧图片进行手部关键点提取处理，确定手部关键点时间序列流；通过滑动窗口对所述手部关键点时间序列流进行手部动作匹配，确定手部行为信息；对所述视频帧图片进行目标检测，确定节点三元组；根据所述手部行为信息对所述节点距离进行位置检测，确定行为三元组；根据所述行为三元组中的动作起止时间戳对所述待切片视频进行剪辑，确定视频切片；能够通过手部与物体的交互行为确定切片的起止时间戳，实现自动化视频切片，提高了视频切片的效率，可广泛应用于视频切片技术领域。可广泛应用于视频切片技术领域。可广泛应用于视频切片技术领域。
【技术实现步骤摘要】
一种基于计算机视觉的视频切片方法、系统、设备及介质
[0001]本专利技术涉及视频切片
，尤其是一种基于计算机视觉的视频切片方法、系统、设备及介质。
技术介绍
[0002]随着视频技术的成熟，应用于视频的视频切片技术也在不断发展。视频切片技术，是指从一段长视频中截取有价值的、精彩的、重点关注的时间段。现有的视频切片技术根据不同的应用场景分为手动视频切片和自动视频切片。其中，手动视频切片为编辑者对视频采用视频编辑软件进行后期剪切，自动视频切片为视频录制过程中实时打点数据信息进行自动剪切，但自动视频切片仅限于游戏录制等能实时获取过程数据的应用场景。而对于实操类的技能考核，通过摄像机拍摄视频，事后通过人工观看实操考试过程进行打分，但是这种做法比较浪费时间。而现有技术中自动视频切片技术需要实时打点数据，并不适用于技能考核打分场景。
技术实现思路
[0003]有鉴于此，本专利技术实施例提供一种高效率的基于计算机视觉的视频切片方法、系统、设备及介质，以实现自动对视频进行切片。
[0004]一方面，本专利技术提供了一种基于计算机视觉的视频切片方法，包括：
[0005]对待切片视频进行解码并输出视频帧图片；
[0006]对所述视频帧图片进行手部关键点提取处理，确定手部关键点时间序列流；
[0007]通过滑动窗口对所述手部关键点时间序列流进行手部动作匹配，确定手部行为信息，所述手部行为信息包括手部动作类型和动作起止时间戳；
[0008]对所述视频帧图片进行目标检测，确定节点三元组，所述节点三元组包括手部节点、物体节点和所述手部节点和所述物体节点的节点距离；
[0009]根据所述手部行为信息对所述节点距离进行位置检测，确定行为三元组，所述行为三元组包括手部节点、物体节点和手部行为信息；
[0010]根据所述行为三元组中的动作起止时间戳对所述待切片视频进行剪辑，确定视频切片。
[0011]可选地，所述对所述视频帧图片进行手部关键点提取处理，确定手部关键点时间序列流，包括：
[0012]通过手部识别算法对所述视频帧图片进行手部识别，检测所述视频帧图片是否含有手部目标；
[0013]当检测到所述视频帧图片含有手部目标时，对所述视频帧图片进行关键点提取，确定手部关键点；
[0014]根据所述视频帧图片的时间戳结合所述手部关键点，确定手部关键点时间序列流。
[0015]可选地，所述通过滑动窗口对所述手部关键点时间序列流进行手部动作匹配，确定手部行为信息，包括：
[0016]通过滑动窗口对所述手部关键点时间序列进行组合，确定时间窗口，所述时间窗口用于表征多帧连续的视频帧图片的手部关键点数据；
[0017]通过动作识别算法对所述时间窗口进行手部动作匹配，确定手部行为信息。
[0018]可选地，所述对所述视频帧图片进行目标检测，确定节点三元组，包括：
[0019]通过目标检测算法对所述视频帧图片中的手部和物体进行目标检测，确定手部节点和物体节点，所述手部节点用于表征手部坐标，所述物体节点用于表征物体名称和物体坐标；
[0020]对所述手部节点和所述物体节点进行距离计算，确定节点距离；
[0021]将所述手部节点、物体节点和所述节点距离组合为节点三元组。
[0022]可选地，所述根据所述手部行为信息对所述节点距离进行位置检测，确定行为三元组，包括：
[0023]根据所述手部行为信息中的手部动作类型确定物体与手部的距离；
[0024]根据所述物体与手部的距离对所述节点距离进行位置检测，当所述节点距离检测正确时，将所述手部行为信息、手部节点和物体节点确定为行为三元组。
[0025]可选地，所述根据所述行为三元组中的动作起止时间戳对所述待切片视频进行剪辑，确定视频切片，包括：
[0026]根据所述行为三元组确定切片视频文件名信息；
[0027]根据所述行为三元组中的动作起止时间戳对所述待切片视频进行切片，并根据所述切片视频文件名信息对切片视频进行命名，确定视频切片。
[0028]可选地，所述通过动作识别算法对所述时间窗口进行手部动作匹配，确定手部行为信息，包括：
[0029]获取手部动作模型，所述手部动作模型通过动作识别算法对预设手部动作进行识别训练得到；
[0030]通过动作识别算法对所述时间窗口的手部关键点与所述手部动作模型进行匹配，确定手部行为信息。
[0031]另一方面，本专利技术实施例还公开了一种基于计算机视觉的视频切片系统，包括：
[0032]第一模块，用于对待切片视频进行解码并输出视频帧图片；
[0033]第二模块，用于对所述视频帧图片进行手部关键点提取处理，确定手部关键点时间序列流；
[0034]第三模块，用于通过滑动窗口对所述手部关键点时间序列流进行手部动作匹配，确定手部行为信息，所述手部行为信息包括手部动作类型和动作起止时间戳；
[0035]第四模块，用于对所述视频帧图片进行目标检测，确定节点三元组，所述节点三元组包括手部节点、物体节点和所述手部节点和所述物体节点的节点距离；
[0036]第五模块，用于根据所述手部行为信息对所述节点距离进行位置检测，确定行为三元组，所述行为三元组包括手部节点、物体节点和手部行为信息；
[0037]第六模块，用于根据所述行为三元组中的动作起止时间戳对所述待切片视频进行剪辑，确定视频切片。
[0038]另一方面，本专利技术实施例还公开了一种电子设备，包括处理器以及存储器；
[0039]所述存储器用于存储程序；
[0040]所述处理器执行所述程序实现如前面所述的方法。
[0041]另一方面，本专利技术实施例还公开了一种计算机可读存储介质，所述存储介质存储有程序，所述程序被处理器执行实现如前面所述的方法。
[0042]另一方面，本专利技术实施例还公开了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器可以从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行前面的方法。
[0043]本专利技术采用以上技术方案与现有技术相比，具有以下技术效果：本专利技术实施例对待切片视频进行解码并输出视频帧图片；对所述视频帧图片进行手部关键点提取处理，确定手部关键点时间序列流；通过滑动窗口对所述手部关键点时间序列流进行手部动作匹配，确定手部行为信息，所述手部行为信息包括手部动作类型和动作起止时间戳；对所述视频帧图片进行目标检测，确定节点三元组，所述节点三元组包括手部节点、物体节点和所述手部节点和所述物体节点的节点距离；根据所述手部行为信息对所述节点距离进行位置检测，确定行为三元组，所述行为三元组包括手部节点、物体节点和手部行为信息；根据所述行为三元组中的动作起止时间戳对所述待切片视频进行剪辑，确定视频切片；能够通过手部与物体的交互行为确定切片的起止时间戳本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种基于计算机视觉的视频切片方法，其特征在于，包括：对待切片视频进行解码并输出视频帧图片；对所述视频帧图片进行手部关键点提取处理，确定手部关键点时间序列流；通过滑动窗口对所述手部关键点时间序列流进行手部动作匹配，确定手部行为信息，所述手部行为信息包括手部动作类型和动作起止时间戳；对所述视频帧图片进行目标检测，确定节点三元组，所述节点三元组包括手部节点、物体节点和所述手部节点和所述物体节点的节点距离；根据所述手部行为信息对所述节点距离进行位置检测，确定行为三元组，所述行为三元组包括手部节点、物体节点和手部行为信息；根据所述行为三元组中的动作起止时间戳对所述待切片视频进行剪辑，确定视频切片。2.根据权利要求1所述的一种基于计算机视觉的视频切片方法，其特征在于，所述对所述视频帧图片进行手部关键点提取处理，确定手部关键点时间序列流，包括：通过手部识别算法对所述视频帧图片进行手部识别，检测所述视频帧图片是否含有手部目标；当检测到所述视频帧图片含有手部目标时，对所述视频帧图片进行关键点提取，确定手部关键点；根据所述视频帧图片的时间戳结合所述手部关键点，确定手部关键点时间序列流。3.根据权利要求1所述的一种基于计算机视觉的视频切片方法，其特征在于，所述通过滑动窗口对所述手部关键点时间序列流进行手部动作匹配，确定手部行为信息，包括：通过滑动窗口对所述手部关键点时间序列进行组合，确定时间窗口，所述时间窗口用于表征多帧连续的视频帧图片的手部关键点数据；通过动作识别算法对所述时间窗口进行手部动作匹配，确定手部行为信息。4.根据权利要求1所述的一种基于计算机视觉的视频切片方法，其特征在于，所述对所述视频帧图片进行目标检测，确定节点三元组，包括：通过目标检测算法对所述视频帧图片中的手部和物体进行目标检测，确定手部节点和物体节点，所述手部节点用于表征手部坐标，所述物体节点用于表征物体名称和物体坐标；对所述手部节点和所述物体节点进行距离计算，确定节点距离；将所述手部节点、物体节点和所述节点距离组合为节点三元组。5.根据权利要求1所述的一种基于计算机视觉的视频切片方法，其特征在于，所述根据所述手部行为信息对所述节点距离进行位置检测，确定行为三元组，包括：...
【专利技术属性】
技术研发人员：郝禄国，曾文彬，罗杰强，李泽伟，杨琳，葛海玉，
申请(专利权)人：广州海昇计算机科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。