基于全景肢体动作的交互方法及系统技术方案

本发明专利技术公开了基于全景肢体动作的交互方法及系统，包括：舞蹈动作采集：利用动作捕捉技术采集舞蹈动作并进行存储；舞蹈模型的构建：基于人体骨骼结构在三维建模软件中搭建透视模型，并在三维建模软件中搭建舞蹈动作虚拟人物，将透视模型与舞蹈动作虚拟人物相匹配，实现舞蹈模型的建立；舞蹈动作关联：将采集的舞蹈动作关联至所建立的舞蹈模型，实现在舞蹈模型上重现采集的舞蹈动作；舞蹈动作的再现：将关联舞蹈动作的舞蹈模型通过可控的方式进行展示。本公开的技术方案采用建立带有骨骼、肌肉及韧带展示的模型，能够精确的实现对舞蹈动作的展示，每一个舞蹈动作所对应的骨骼相应的动作均能够展示出来，更好的实现舞蹈动作的实质展示。

Interactive method and system based on panoramic limb movements

The invention discloses an interactive method and system based on panoramic body movements, including: dance motion acquisition: acquisition and storage of dance movements by using motion capture technology; construction of dance model: perspective model is built in three-dimensional modeling software based on human skeleton structure, and virtual characters of dance actions are built in three-dimensional modeling software, and perspective model and dance action are virtual. Character matching to achieve the establishment of dance model; dance action association: the collection of dance action related to the established dance model, to achieve the repetition of the collected dance action on the dance model; dance action reproduction: the dance model associated with dance action through a controllable way to display. The technical scheme of the present disclosure adopts the establishment of a model with skeleton, muscle and ligament display, which can accurately display dance movements. The corresponding skeleton movements of each dance action can be displayed, and the essence of dance actions can be better displayed.

【技术实现步骤摘要】
基于全景肢体动作的交互方法及系统
本公开涉及计算机
，特别是涉及基于全景肢体动作的交互方法及系统。
技术介绍
随着计算机技术的发展，由于其具有数据处理速度快、精度高的特点，计算机相关的技术逐步应用至各个领域，基于该技术的物联网技术也得到了迅速的发展。在肢体动作领域，经过检索发现，现有技术虽然也在向着利用计算机中的相关虚拟技术的方向发展，但是，目前的主要技术还集中在如何实现对肢体动作的对比评价上，在肢体动作方面具体如何全景的进行交互方面相关专利较少。例如，在舞蹈领域中，现有公开的文献中，申请号为“2017107742862”，专利名称为“一种虚拟舞蹈系统的动作评价方法”，该文献的技术方案中：首先构建舞蹈标准动作库，构建虚拟教练；然后进行舞蹈学员动作实时捕捉与数字化，动作帧定位对齐；最后进行舞蹈动作评价得分。实现对舞蹈学员的肢体动作进行实时识别和捕捉，并根据教练动作库的标准动作，来对学员的学习情况进行自动化评价，让学员在自主学习条件下进行有专业指导的舞蹈学习。现有公开的文献中，申请号为“201810136939.9”，专利名称为“基于虚拟现实中的肢体训练系统及方法”，该文献的技术方案中：包括：动作捕捉模块，包括分别设于老师肢体各部位的定位器，用以捕捉和记录老师肢体各部位在三维空间中动作的位置与旋转角度；动作重播模块，在虚拟现实中通过半透明重影的方式重播老师的动作，学生从第一人称观察这些动作，并且进行模仿学习；动作评估模块，通过比较学生与老师的动作差异，在虚拟现实中及时向学生提出反馈，帮助学生完成动作。本技术方案能够克服以往的视频，只能在二维平面记录并且回放动作的缺陷，通过将动作捕捉进行虚拟现实结合，实现了三维空间内动作的记录与回放。同时，通过在第一人称显示重影，帮助人们直观的理解动作，使得在虚拟现实中自学舞蹈、太极成为可能。综上所述，现有技术中针对肢体动作的处理主要集中在对肢体动作的对比评价上，而如何智能的进行全景肢体动作的交互是本公开所要解决的主要技术问题。
技术实现思路
为了解决现有技术的不足，本公开的一个方面是提供了基于全景肢体动作的交互方法，利用计算机技术搭建肢体模型，通过肢体模型中骨骼、肌肉及韧带的形成原理来更清晰的看到肢体动作的动作要点，利用交互的方式更好的展示肢体动作。为了实现上述目的，本申请采用以下技术方案：基于全景肢体动作的交互方法，包括：肢体动作采集步骤：包括利用动作捕捉技术采集肢体动作并进行存储以及利用全景视频技术采集真人肢体动作并进行存储；肢体模型的构建步骤：基于人体骨骼结构在三维建模软件中搭建透视模型，并在三维建模软件中搭建肢体动作虚拟人物，将透视模型与肢体动作虚拟人物相匹配，实现肢体模型的建立并形成肢体动作库，其中，所述透视模型为将骨骼模型、韧带模型及肌肉模型相叠加的模型；肢体动作关联步骤：将动作捕捉技术采集的肢体动作及全景视频技术采集的真人肢体动作关联至所建立的肢体模型，实现在肢体模型上重现采集的肢体动作；肢体动作的再现步骤：将关联肢体动作的肢体模型利用可控的方式通过交互进行展示。进一步的技术方案，将利用动作捕捉技术采集肢体动作通过有线或无线的方式传输至所构建的肢体模型中。进一步的技术方案，利用全景视频技术采集真人肢体动作时，采用多机位设备布置在多个角度对真人的肢体动作进行协同拍摄，对拍摄的视频进行合成、剪辑及拼接形成全景动作视频，后续将全景动作视频同步至透视模型上。进一步的技术方案，在肢体模型的构建步骤中，当所构建的肢体模型与所采集的肢体动作不匹配时，对肢体模型进行修复调整优化，直至所构建的肢体模型能够与所采集的肢体动作匹配。进一步的技术方案，在肢体动作关联步骤中，肢体模型上重现采集的舞蹈动作时，若肢体动作不满足要求，在三维建模软件中可进行调整具体的肢体动作直至符合要求，将调整后的肢体动作进行保存。进一步的技术方案，肢体动作的再现步骤中，关联肢体动作的肢体模型通过可控的方式进行展示，其中的可控方式包括但不限于肢体动作播放时的暂停、快进、后退、360度展示。进一步的技术方案，肢体动作的再现步骤中，还包括语音及文字讲解的步骤，将语音信息及文字信息与肢体动作视频进行关联。更进一步的技术方案，肢体动作关联步骤中，在肢体动作库中，可将其中的一段肢体动作以帧的方式进行选择，将选出的肢体动作与肢体模型进行关联，实现所需肢体动作的再现。更进一步的技术方案，通过可控的方式进行展示且已经关联肢体动作的肢体模型可保存为ios系统、pc系统或android系统所能展示的格式，并发布在云平台上。本公开的另一方面是公开了一种计算机可读存储介质。为了实现上述目的，本专利技术采用如下一种技术方案：一种计算机可读存储介质，其中存储有多条指令，所述指令适于由终端设备的处理器加载并执行所述的基于全景肢体动作的交互方法。本专利技术的第三方面是提供一种终端设备。为了实现上述目的，本专利技术采用如下一种技术方案：一种终端设备，包括处理器和计算机可读存储介质，处理器用于实现各指令；计算机可读存储介质用于存储多条指令，所述指令适于由处理器加载并执行所述的基于全景肢体动作的交互方法。本专利技术的第四方面是提供基于全景肢体动作的交互系统。为了实现上述目的，本专利技术采用如下一种技术方案：基于全景肢体动作的交互系统，包括：肢体动作采集单元：包括利用动作捕捉技术采集肢体动作并进行存储以及利用全景视频技术采集真人肢体动作并进行存储；肢体模型的构建单元：基于人体骨骼结构在三维建模软件中搭建透视模型，并在三维建模软件中搭建肢体动作虚拟人物，将透视模型与肢体动作虚拟人物相匹配，实现肢体模型的建立并形成肢体动作库，其中，所述透视模型为将骨骼模型、韧带模型及肌肉模型相叠加的模型；肢体动作关联单元：将动作捕捉技术采集的肢体动作及全景视频技术采集的真人肢体动作关联至所建立的肢体模型，实现在肢体模型上重现采集的肢体动作；肢体动作的再现单元：将关联肢体动作的肢体模型利用可控的方式通过交互进行展示。本公开的第五方面是公开了一种应用；为了实现上述目的，本专利技术采用如下一种技术方案：一种应用，所述基于全景肢体动作的交互方法可应用至舞蹈学习中。与现有技术相比，本公开的有益效果是：1、本公开的技术方案采用建立的模型，通过交互，点击某一个肢体动作的状态时，能够清楚的观察到该肢体动作所带来的骨骼、肌肉及韧带的动作状态，从而明白每个肢体动作的原理，达到透过肢体动作的表象看至该肢体工作的实质。2、本公开的技术方案能够实现对所需要肢体动作的展示，更加人性化，当需要展示某类肢体动作或一类肢体动作中的某段肢体动作时，只要以时间帧的方式在三维建模软件中进行选择即可，能够满足多种需求，应用更广。3、本公开的技术方案在具体展示的时候，能够多维度、多方式的展示，实现肢体动作的可控性的展示，肢体动作的展示更加全面，且可根据需求进行暂停、后退等多种方式的展示。4、本公开的技术方案中，可将通过可控的方式进行展示且已经关联肢体动作的肢体模型文件发布至云端，且以不同的格式进行保存，这样不同的用户终端只需要下载相关的APP即可实现所要查看的肢体动作的交互展示，满足不同用户终端的需求。5、本公开的技术方案实现对多种肢体动作的保存、展示等，实现传统或经典肢体动作的文化传承，在肢体动作学习等方面均可进行本文档来自技高网...

【技术保护点】
1.基于全景肢体动作的交互方法，其特征是，包括：肢体动作采集步骤：包括利用动作捕捉技术采集肢体动作并进行存储以及利用全景视频技术采集真人肢体动作并进行存储；肢体模型的构建步骤：基于人体骨骼结构在三维建模软件中搭建透视模型，并在三维建模软件中搭建肢体动作虚拟人物，将透视模型与肢体动作虚拟人物相匹配，实现肢体模型的建立并形成肢体动作库，其中，所述透视模型为将骨骼模型、韧带模型及肌肉模型相叠加的模型；肢体动作关联步骤：将动作捕捉技术采集的肢体动作及全景视频技术采集的真人肢体动作关联至所建立的肢体模型，实现在肢体模型上重现采集的肢体动作；肢体动作的再现步骤：将关联肢体动作的肢体模型利用可控的方式通过交互进行展示。

【技术特征摘要】
1.基于全景肢体动作的交互方法，其特征是，包括：肢体动作采集步骤：包括利用动作捕捉技术采集肢体动作并进行存储以及利用全景视频技术采集真人肢体动作并进行存储；肢体模型的构建步骤：基于人体骨骼结构在三维建模软件中搭建透视模型，并在三维建模软件中搭建肢体动作虚拟人物，将透视模型与肢体动作虚拟人物相匹配，实现肢体模型的建立并形成肢体动作库，其中，所述透视模型为将骨骼模型、韧带模型及肌肉模型相叠加的模型；肢体动作关联步骤：将动作捕捉技术采集的肢体动作及全景视频技术采集的真人肢体动作关联至所建立的肢体模型，实现在肢体模型上重现采集的肢体动作；肢体动作的再现步骤：将关联肢体动作的肢体模型利用可控的方式通过交互进行展示。2.如权利要求1所述的基于全景肢体动作的交互方法，其特征是，将利用动作捕捉技术采集肢体动作通过有线或无线的方式传输至所构建的肢体模型中。3.如权利要求1所述的基于全景肢体动作的交互方法，其特征是，利用全景视频技术采集真人肢体动作时，采用多机位设备布置在多个角度对真人的肢体动作进行协同拍摄，对拍摄的视频进行合成、剪辑及拼接形成全景动作视频，后续将全景动作视频同步至透视模型上。4.如权利要求1所述的基于全景肢体动作的交互方法，其特征是，在肢体模型的构建步骤中，当所构建的肢体模型与所采集的肢体动作不匹配时，对肢体模型进行修复调整优化，直至所构建的肢体模型与所采集的肢体动作匹配。5.如权利要求1所述的基于全景肢体动作的交互方法，其特征是，在肢体动作关联步骤中，肢体模型上重现采集的舞蹈动作时，若肢体动作不满足要求，在三维建模软件中可进行调整具体的肢体动作直至符合要求，将调整后的肢体动作进行保存。6.如权利要求1所述的基于全景肢体动作的交互方法，其特征是，肢体动作的再...

【专利技术属性】
技术研发人员：郭娜，王新程，陈琛，王少龙，
申请(专利权)人：郭娜，
类型：发明
国别省市：山东,37