智能交互式皮影系统、控制方法、设备及介质技术方案

本申请实施例提供了智能交互式皮影系统、控制方法、设备及介质，通过根据人体动作视频的图像帧进行关键点检测，得到图像帧的人体骨骼关键点；连接人体骨骼关键点得到人体关节；根据多个图像帧的人体关节进行运动学推导得到皮影机器人的关节运动信息；根据皮影机器人的关节运动信息得到皮影机器人的驱动器运动控制信号；根据皮影机器人的驱动器运动控制信号控制皮影机器人运动；通过检测人体骨骼关键点和人体关节得到人体运动信息，根据人体运动信息映射到皮影机器人的关节运动信息，实现对皮影机器人的控制，使得皮影机器人的运动更贴合人体运动和更灵动，进而提升了皮影机器人的演出效果。演出效果。演出效果。

【技术实现步骤摘要】
智能交互式皮影系统、控制方法、设备及介质


[0001]本申请实施例涉及但不限于智能检测领域，尤其涉及智能交互式皮影系统、控制方法、设备及介质。

技术介绍

[0002]传统的皮影表演以手动式为主，对表演者的手艺门槛要求较高，操作较为复杂，学习时间长。目前的皮影机器人通常是按照既定的程序完成运动控制。能够实现的皮影动作单一、动作僵硬。控制算法往往通用性低、控制精度低、动作不够精准。

技术实现思路

[0003]以下是对本文详细描述的主题的概述。本概述并非是为了限制权利要求的保护范围。
[0004]本申请实施例旨在至少解决现有技术中存在的技术问题之一，本申请实施例提供了智能交互式皮影系统、控制方法、设备及介质。
[0005]本专利技术的第一方面的实施例，一种智能交互式皮影系统的控制方法，包括：
[0006]获取人体动作视频；
[0007]根据所述人体动作视频的图像帧进行关键点检测，得到图像帧的人体骨骼关键点；
[0008]连接所述人体骨骼关键点得到人体关节；
[0009]根据多个图像帧的人体关节进行运动学推导得到皮影机器人的关节运动信息；
[0010]根据所述皮影机器人的关节运动信息得到皮影机器人的驱动器运动控制信号；
[0011]根据皮影机器人的驱动器运动控制信号控制皮影机器人运动。
[0012]本专利技术的第一方面的某些实施例，所述根据所述人体动作视频的图像帧进行关键点检测，得到图像帧的人体骨骼关键点，包括：
[0013]通过姿势检测器和关键点模型进行姿势估计得到姿势关键点信息；
[0014]根据所述姿势关键点获取人体部位的感兴趣区域；
[0015]在人体动作视频的全分辨率输入帧上裁剪所述感兴趣区域；
[0016]通过任务模型根据经裁剪的感兴趣区域进行估计得到任务关键点信息；
[0017]合并所述姿势关键点信息和所述任务关键点信息得到图像帧的人体骨骼关键点。
[0018]本专利技术的第一方面的某些实施例，所述根据多个图像帧的人体关节进行运动学推导得到皮影机器人的关节运动信息，包括：
[0019]通过初始旋转量对图像帧的人体关节进行旋转量对齐，得到中间矩阵；
[0020]根据所述中间矩阵进行运动学推导得到皮影机器人的关节运动信息。
[0021]本专利技术的第一方面的某些实施例，所述根据所述皮影机器人的关节运动信息得到皮影机器人的驱动器运动控制信号，包括：
[0022]根据所述关节运动信息和初始姿态得到关节的对齐矩阵；
[0023]根据所述对齐矩阵和旋转量参数得到关节的实时旋转信息；
[0024]根据驱动器的类型将所述实时旋转信息转换为皮影机器人的驱动器运动控制信号。
[0025]本专利技术的第一方面的某些实施例，智能交互式皮影系统的控制方法还包括：
[0026]获取语音信息；
[0027]识别所述语音信息得到控制指令；
[0028]根据所述控制指令得到皮影机器人的驱动器运动控制信号；
[0029]根据皮影机器人的驱动器运动控制信号控制皮影机器人运动。
[0030]本专利技术的第一方面的某些实施例，智能交互式皮影系统的控制方法还包括：
[0031]接收预烧录的驱动器运动控制信号，并存储预烧录的驱动器运动控制信号；
[0032]接收启动信号，根据所述启动信号读取预烧录的驱动器运动控制信号；
[0033]根据预烧录的驱动器运动控制信号控制皮影机器人运动。
[0034]本专利技术的第一方面的某些实施例，智能交互式皮影系统的控制方法还包括：
[0035]构建对应皮影机器人的三维模型；
[0036]获取所述三维模型的关节点三维坐标信息；
[0037]将所述关节点三维坐标信息转换为关节运动信息；
[0038]根据所述皮影机器人的关节运动信息得到皮影机器人的驱动器运动控制信号；
[0039]根据皮影机器人的驱动器运动控制信号控制皮影机器人运动。
[0040]本专利技术的第二方面的实施例，一种智能交互式皮影系统，包括：
[0041]图像拍摄单元，所述图像拍摄单元用于获取人体动作视频；
[0042]皮影机器人；
[0043]上位机，所述上位机的输入端与所述图像拍摄单元连接，所述上位机的输出端与所述皮影机器人连接，所述上位机被配置为：根据所述人体动作视频的图像帧进行关键点检测，得到图像帧的人体骨骼关键点；连接所述人体骨骼关键点得到人体关节；根据多个图像帧的人体关节进行运动学推导得到皮影机器人的关节运动信息；根据所述皮影机器人的关节运动信息得到皮影机器人的驱动器运动控制信号；根据皮影机器人的驱动器运动控制信号控制皮影机器人运动。
[0044]本专利技术的第三方面的实施例，一种电子设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上所述的智能交互式皮影系统的控制方法。
[0045]本专利技术的第四方面的实施例，一种计算机可读存储介质，存储有计算机可执行指令，所述计算机可执行指令用于执行如上所述的智能交互式皮影系统的控制方法。
[0046]上述方案至少具有以下的有益效果：通过根据人体动作视频的图像帧进行关键点检测，得到图像帧的人体骨骼关键点；连接人体骨骼关键点得到人体关节；根据多个图像帧的人体关节进行运动学推导得到皮影机器人的关节运动信息；根据皮影机器人的关节运动信息得到皮影机器人的驱动器运动控制信号；根据皮影机器人的驱动器运动控制信号控制皮影机器人运动；通过检测人体骨骼关键点和人体关节得到人体运动信息，根据人体运动信息映射到皮影机器人的关节运动信息，实现对皮影机器人的控制，使得皮影机器人的运动更贴合人体运动和更灵动，进而提升了皮影机器人的演出效果。
附图说明
[0047]附图用来提供对本申请技术方案的进一步理解，并且构成说明书的一部分，与本申请的实施例一起用于解释本申请的技术方案，并不构成对本申请技术方案的限制。
[0048]图1是本申请的实施例所提供的智能交互式皮影系统的控制方法的步骤图；
[0049]图2是步骤S200的子步骤图；
[0050]图3是步骤S400的子步骤图；
[0051]图4是步骤S500的子步骤图；
[0052]图5是语音模式的步骤图；
[0053]图6是自编程模式的步骤图；
[0054]图7是虚拟交互模式的步骤图；
[0055]图8是关键点模型的结构图；
[0056]图9是智能交互式皮影系统的皮影机器人的电源的电路图。
具体实施方式
[0057]为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。
[0058]需要说明的是，虽然在装置示意图中进行了功能模块划分本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种智能交互式皮影系统的控制方法，其特征在于，包括：获取人体动作视频；根据所述人体动作视频的图像帧进行关键点检测，得到图像帧的人体骨骼关键点；连接所述人体骨骼关键点得到人体关节；根据多个图像帧的人体关节进行运动学推导得到皮影机器人的关节运动信息；根据所述皮影机器人的关节运动信息得到皮影机器人的驱动器运动控制信号；根据皮影机器人的驱动器运动控制信号控制皮影机器人运动。2.根据权利要求1所述的一种智能交互式皮影系统的控制方法，其特征在于，所述根据所述人体动作视频的图像帧进行关键点检测，得到图像帧的人体骨骼关键点，包括：通过姿势检测器和关键点模型进行姿势估计得到姿势关键点信息；根据所述姿势关键点获取人体部位的感兴趣区域；在人体动作视频的全分辨率输入帧上裁剪所述感兴趣区域；通过任务模型根据经裁剪的感兴趣区域进行估计得到任务关键点信息；合并所述姿势关键点信息和所述任务关键点信息得到图像帧的人体骨骼关键点。3.根据权利要求1所述的一种智能交互式皮影系统的控制方法，其特征在于，所述根据多个图像帧的人体关节进行运动学推导得到皮影机器人的关节运动信息，包括：通过初始旋转量对图像帧的人体关节进行旋转量对齐，得到中间矩阵；根据所述中间矩阵进行运动学推导得到皮影机器人的关节运动信息。4.根据权利要求1所述的一种智能交互式皮影系统的控制方法，其特征在于，所述根据所述皮影机器人的关节运动信息得到皮影机器人的驱动器运动控制信号，包括：根据所述关节运动信息和初始姿态得到关节的对齐矩阵；根据所述对齐矩阵和旋转量参数得到关节的实时旋转信息；根据驱动器的类型将所述实时旋转信息转换为皮影机器人的驱动器运动控制信号。5.根据权利要求1所述的一种智能交互式皮影系统的控制方法，其特征在于，还包括：获取语音信息；识别所述语音信息得到控制指令；根据所述控制指令得到...

【专利技术属性】
技术研发人员：曾军英，徐东，黄国林，朱良哲，赵嘉禧，赵健文，吴建宇，钟春婵，谢梓源，骆伟斌，秦传波，
申请(专利权)人：五邑大学，
类型：发明
国别省市：