基于深度强化学习的AR增强现实大屏互动的动画仿真方法技术

本发明专利技术公开了一种基于深度强化学习的AR增强现实大屏互动的动画仿真方法,采集专业人士的动作数据，并将数据进行分割，作为参考动作集；先构建两个caffe卷积神经网络框架，将动画角色的状态、动作、目标作为第一个网络输入，将活动范围较广的下肢的状态、动作、目标和第一个网络的动作作为第二个网格的输入，用于与第一个网络互相辅助，加快学习速率；通过PD控制器驱动动画角色，直接嵌入AR增强现实系统中，或与AR增强现实系统中原有的动画角色进行结合；本发明专利技术构建虚拟动画角色，通过反馈给角色的奖励和惩罚信息，使其知道自身行为是否正确，通过长时间的学习，最终角色将具有自主决策的能力。

【技术实现步骤摘要】
基于深度强化学习的AR增强现实大屏互动的动画仿真方法
本专利技术涉及一种动画仿真方法，尤其涉及一种AR增强现实大屏互动的动画仿真方法。
技术介绍
AR大屏互动作为一种宣传利器，在展会、发布会、商场等人流量较大的场所有着不可替代的优势。在技术层面，AR大屏互动在图像识别、人脸识别、态识别、手势识别各项技术上都有涉猎。在互动方式上，延伸出来的AR互动游戏、AR互动拍照等等这一系列的互动形式都有不错的表现。目前，计算机动画人物的动作制作方法主要为人工绘制关键帧和将动作捕捉数据用于动画角色中。人工绘制关键帧的方法需要逐帧设计，十分耗时耗力，制作困难，且角色的动作存在简单或不真实的缺点。基于物理的对自然动作的模拟数十年来已经成为广泛研究的主题，对动作质量的关注通常受电影、视觉效果和游戏应用的推动。这些年来，关于基于物理的人物动画的大量工作开发出控制器，可生成适用于大量任务和人物的鲁棒性自然动作。这些方法通常利用人类洞察纳入特定任务的控制结构，从而为智能体可执行的运动提供强大的归纳偏置。但是由于这些设计决策，控制器通常特定于某种智能体或任务，且多数为单动作训练，多动作连贯训练尚未应用于实践。
技术实现思路
本专利技术所要解决的技术问题是提供一种进行精确动作模仿的基于深度强化学习的AR增强现实大屏互动的动画仿真方法。为解决上述技术问题，本专利技术的技术方案是：基于深度强化学习的AR增强现实大屏互动的动画仿真方法,包括下述步骤：步骤一，通过动作捕捉系统采集专业人士的动作数据，将不同设备采集的数据统一转成bvh格式，通过代码将数据进行分割、提取有用的数值并按照动作定义的关节顺序进行组合排序，作为参考动作集；步骤二，利用深度强化学习算法，每个策略由两个神经网络互相作用来表示，先构建两个caffe卷积神经网络框架：第一个网络的第一层为512个单元组成的完全连接层，且为双线性相位变换，第二层为两组、六个256个单元的线性输出层，上面的一个是评论者子网络，用来预测每个演员的值函数；下面的是演员子网络，用来为给定的状态选择出要执行的动作；步骤一的参考动作集用于critic-actor策略进行决策的训练，得到输出的动作ai，来驱动动画角色模仿专业人士的动作姿势；第二个网络由两层256个单元组成的完全连接层组成，通过角色区域的选定，来加快当下肢需要进行大幅度移动时的学习效率；步骤三，通过策略中的自适应样式和初始定义动作集使动画可以根据特殊的情景来生成有别于参考动作的动作，来更好地适应新的环境；步骤四，测试时，通过PD控制器驱动动画角色，直接嵌入AR增强现实系统中，或与AR增强现实系统中原有的动画角色进行结合，以达到控制动画角色动作的目的；步骤五，AR增强现实系统中的动画角色模仿出真人的标准动作，使角色更加生动逼真；同时可以使角色自主决策左右两个方向的移动，准确地进行动作模拟。作为一种优选的技术方案，在步骤一中，所述“将动作数据进行分割”的标准为：将连续的动作分成许多5秒的单独动作片段，再对每个动作片段平均分成10份，即每份0.5秒，提取中间数据，作为一个动作的元组数据，所述参考动作集里面存储了许多专业人士的动作姿势，供动画角色学习模仿；参考动作将作为目标和奖励函数中的一个分量。作为一种优选的技术方案，在步骤二中，所述“双线性相位变化”是为了保持LLC与参考运动同步，构造Φ＝(Φ0，Φ1，Φ2，Φ3，Φ4)T，Φi∈(0,1)；其中，Φ0∈(0,0.2)，则Φ0＝1，否则为0。作为一种优选的技术方案，在步骤二中，所述“critic-actor策略”为：在每一集的开始处，初始状态s从参考运动集或初始定义动作集均匀采样，每个事件被模拟直到固定的时间范围或直到触发终止条件；一旦已经收集了一批数据，则从数据集中采样小批量并用于更新策略和值函数；使用TD计算的目标值、状态、回报函数更新值函数，从多组值函数中以α的概率选出四组critic-actor对中回报函数最大的那一组，以1-α的概率随机选择剩余三组中的随机一组，α通过不断训练进行调整。作为一种优选的技术方案，在步骤三中，所述“自适应样式”是动画角色根据实际场景自动调整生成的，主要解决稀有情况下的决策，而“初始定义动作集”是根据采集的选手常用简单动作数据而提前设定的；通过初始定义动作集可以使动画角色拥有更好的学习基础，自适应样式可以使动画角色拥有更好的随机应变能力和鲁棒性，学习到许多稀有场景下的应对动作。作为一种优选的技术方案，在步骤四中，所述PD控制器将根据AR增强现实中的动画角色的复杂程度定义三个分别为24、32和40的关节力矩来控制动画的运动。由于采用了上述技术方案，基于深度强化学习的AR增强现实大屏互动的动画仿真方法,包括下述步骤：步骤一，通过动作捕捉系统采集专业人士的动作数据，将不同设备采集的数据统一转成bvh格式，并将数据进行分割，作为参考动作集；步骤二，利用深度强化学习算法，每个策略由两个神经网络互相作用来表示，先构建两个caffe卷积神经网络框架：第一个网络的第一层为512个单元组成的完全连接层，且为双线性相位变换，第二层为两组、六个256个单元的线性输出层，上面的一个是评论者子网络，用来预测每个演员的值函数；下面的是演员子网络，用来为给定的状态选择出要执行的动作；步骤一的参考动作集用于critic-actor策略进行决策的训练，得到输出的动作ai，来驱动动画角色模仿专业人士的动作姿势；第二个网络由两层256个单元组成的完全连接层组成，通过角色区域的选定，来加快当下肢需要进行大幅度移动时的学习效率；步骤三，通过策略中的自适应样式和初始定义动作集使动画可以根据特殊的情景来生成有别于参考动作的动作，来更好地适应新的环境；步骤四，测试时，通过PD控制器驱动动画角色，直接嵌入AR增强现实系统中，或与AR增强现实系统中原有的动画角色进行结合，以达到控制动画角色动作的目的；步骤五，AR增强现实系统中的动画角色模仿出真人的标准动作，使角色更加生动逼真；本专利技术构建虚拟动画角色，通过反馈给角色的奖励和惩罚信息，使其知道自身行为是否正确，通过长时间的学习，最终角色将具有自主决策的能力，以模拟乒乓球为例，面对不同的来球执行不同的、与动作捕捉系统捕捉到的人的动作几乎一致的动作和姿势来完美的接球。附图说明以下附图仅旨在于对本专利技术做示意性说明和解释，并不限定本专利技术的范围。其中：图1是本专利技术实施例的原理图；图2是本专利技术实施例模拟乒乓球的角色分布示意图。具体实施方式下面结合附图和实施例，进一步阐述本专利技术。在下面的详细描述中，只通过说明的方式描述了本专利技术的某些示范性实施例。毋庸置疑，本领域的普通技术人员可以认识到，在不偏离本专利技术的精神和范围的情况下，可以用各种不同的方式对所描述的实施例进行修正。因此，附图和描述在本质上是说明性的，而不是用于限制权利要求的保护范围。基于深度强化学习的AR增强现实大屏互动的动画仿真方法,如图1所示，包括下述步骤：步骤一，通过动作捕捉系统采集专业人士的动作数据，将不同设备采集的数据统一转成bvh格式，通过代码将数据进行分割、提取有用的数值并按照动作定义的关节顺序进行组合排序，作为参考动作集；所述“将动作数据进行分割”的标准为：将连续的动作分成许多5秒的单独动作片段，再对每个动作片段平本文档来自技高网...

【技术保护点】
1.基于深度强化学习的AR增强现实大屏互动的动画仿真方法,其特征在于，包括下述步骤：步骤一，通过动作捕捉系统采集专业人士的动作数据，将不同设备采集的数据统一转成bvh格式，通过代码将数据进行分割、提取有用的数值并按照动作定义的关节顺序进行组合排序，作为参考动作集；步骤二，利用深度强化学习算法，每个策略由两个神经网络互相作用来表示，先构建两个caffe卷积神经网络框架：第一个网络的第一层为512个单元组成的完全连接层，且为双线性相位变换，第二层为两组、六个256个单元的线性输出层，上面的一个是评论者子网络，用来预测每个演员的值函数；下面的是演员子网络，用来为给定的状态选择出要执行的动作；步骤一的参考动作集用于critic‑actor策略进行决策的训练，得到输出的动作ai，来驱动动画角色模仿专业人士的动作姿势；第二个网络由两层256个单元组成的完全连接层组成，通过角色区域的选定，来加快当下肢需要进行大幅度移动时的学习效率；步骤三，通过策略中的自适应样式和初始定义动作集使动画可以根据特殊的情景来生成有别于参考动作的动作，来更好地适应新的环境；步骤四，测试时，通过PD控制器驱动动画角色，直接嵌入AR增强现实系统中，或与AR增强现实系统中原有的动画角色进行结合，以达到控制动画角色动作的目的；步骤五，AR增强现实系统中的动画角色模仿出真人的标准动作，使角色更加生动逼真；同时可以使角色自主决策左右两个方向的移动，准确地进行动作模拟。...

【技术特征摘要】
1.基于深度强化学习的AR增强现实大屏互动的动画仿真方法,其特征在于，包括下述步骤：步骤一，通过动作捕捉系统采集专业人士的动作数据，将不同设备采集的数据统一转成bvh格式，通过代码将数据进行分割、提取有用的数值并按照动作定义的关节顺序进行组合排序，作为参考动作集；步骤二，利用深度强化学习算法，每个策略由两个神经网络互相作用来表示，先构建两个caffe卷积神经网络框架：第一个网络的第一层为512个单元组成的完全连接层，且为双线性相位变换，第二层为两组、六个256个单元的线性输出层，上面的一个是评论者子网络，用来预测每个演员的值函数；下面的是演员子网络，用来为给定的状态选择出要执行的动作；步骤一的参考动作集用于critic-actor策略进行决策的训练，得到输出的动作ai，来驱动动画角色模仿专业人士的动作姿势；第二个网络由两层256个单元组成的完全连接层组成，通过角色区域的选定，来加快当下肢需要进行大幅度移动时的学习效率；步骤三，通过策略中的自适应样式和初始定义动作集使动画可以根据特殊的情景来生成有别于参考动作的动作，来更好地适应新的环境；步骤四，测试时，通过PD控制器驱动动画角色，直接嵌入AR增强现实系统中，或与AR增强现实系统中原有的动画角色进行结合，以达到控制动画角色动作的目的；步骤五，AR增强现实系统中的动画角色模仿出真人的标准动作，使角色更加生动逼真；同时可以使角色自主决策左右两个方向的移动，准确地进行动作模拟。2.如权利要求1所述的基于深度强化学习的AR增强现实大屏互动的动画仿真方法，其特征在于，在步骤一中，所述“将动作数据进行分割”的标准为：将连续的动作分成许多5秒的单独动作片段，再对每个动作片段平均分成10份，即每份0.5秒，提取中间数据，作为一个动作的元组数据，...

【专利技术属性】
技术研发人员：范一诺，翟临博，范应元，
申请(专利权)人：山东师范大学，
类型：发明
国别省市：山东,37