一种多模式耦合的动作捕捉装置制造方法及图纸

本实用新型专利技术公布了一种多模式耦合的动作捕捉装置，包括：动作捕捉设备、客户端、服务端和数据接收客户端；服务端包括数据接收器、数据解析与存储器、数据配准器、数据融合优化器和数据发布模块。通过动作捕捉设备获取多种类型的动作捕捉数据，经相应的客户端发送给服务端，服务端通过数据配准器、数据耦合器，获得多模式耦合优化数据，通过数据发布模块发送给数据接收客户端。本实用新型专利技术可获得多种模式耦合的动作捕捉优化数据，满足单用户或多用户协同操作的动作捕捉需求，有效提高虚拟与真实环境之间交互的效率，提升用户沉浸感，可广泛应用于诸多领域。

【技术实现步骤摘要】
一种多模式耦合的动作捕捉装置
本技术涉及动作捕捉
，尤其涉及一种多种模式的动作捕捉耦合装置。
技术介绍
动作捕捉技术可以获取真实环境中的人或物的运动状态和姿态，其思想萌芽普遍被认为是Fleischer在1915年提出的“Rotoscope”技术。更具现代意义上的动作捕捉技术产生于20世纪70年代后期，由心理学家Johansson在MovingLightDisplay实验中提出。20世纪80年代，通过电脑实现的针对人体动作捕捉的研究开始出现，美国Biomechanics实验室、MIT等高校先后对此进行了研究，推动了动作捕捉技术的发展，如1983年MIT研发出了一套叫做“Op-Eye”的图形牵线木偶，这个牵线木偶充当了第一套“动作捕捉服装”，引领了动作捕捉技术的风潮。20世纪90年代，人体姿态和动作识别、手指动作识别，以及人体和手部空间定位技术已经有所研究并得到一定程度的应用，以Tardif等人为代表的学者进一步推动了运动捕捉技术，使得该技术日趋发展成熟。21世纪以来，伴随着计算机科学和传感器技术快速发展，动作捕捉技术展现出强大的生命力，特别就近几年来，动作捕捉技术最新发展为实现虚拟环境与真实环境之间的通信提供了可靠的技术保障，多种代表型的动作捕捉设备相继问世，比如MotionAnalysis、HTCVive、Noitom、Kinect等，大大提升了用户的沉浸感和人机交互效率，进一步拓展了其应用范围。从工作原理来看，目前主流的动作捕捉技术主要包括基于光学、基于惯性和基于计算机视觉等模式。不同模式的动作捕捉技术的性能各有优劣。三种主流动作捕捉模式在多对象捕捉能力、手指精细捕捉能力、定位精度和使用便捷性等方面比较结果如表1所示：表1主流的动作捕捉模式的性能比较可见，当前的动作捕捉技术明显存在的问题包括：一是单模式的动作捕捉技术尚不能满足对于用户整体和局部肢体的综合捕捉精度要求高的应用；二是单模式的动作捕捉技术在兼顾高定位精度和高便捷性等方面效果不理想，不能做到优势互补；三是单模式的动作捕捉数据一旦出现丢失，则无法复原或弥补，影响用户体验。例如，采用现有的动作捕捉技术难以同时提供较高的多对象捕捉能力和手指精细捕捉能力，也难以满足同时具备定位精度高和便捷性高的应用需求。
技术实现思路
为了克服上述现有技术的不足，本技术提供一种多模式耦合的动作捕捉装置，包括动作捕捉设备、客户端、服务端和数据接收客户端，采用基于光学跟踪、视觉识别、惯性测量等多种传感器的多模式动作捕捉装置技术，通过服务端提供数据配准和数据耦合，有效耦合基于不同模式的动作捕捉获得的数据，实现不同模式技术的优势互补，提高动作捕捉性能，可同时提供较高的多对象捕捉和手指精细捕捉能力、较高的定位精度和便捷性。本技术通过动作捕捉设备获取多种类型的动作捕捉数据，经相应的客户端发送给服务端，服务端通过数据配准器、数据耦合器，获得多模式耦合优化数据，通过数据发布模块发送给数据接收客户端。其中，数据配准器以其中的某种模式的动作捕捉数据类型为基础建立坐标系，将其它类型的数据进行转换，建立统一的坐标系；数据耦合器对每个用户捕捉到的各类数据进行耦合优化；当用户使用任一种动作捕捉设备/模式时，捕捉获得的是经过多种动作捕捉模式耦合的优化数据，从而使得动作捕捉操作具备多种动作捕捉模式的技术优势。本技术提供的技术方案如下：一种多模式动作捕捉耦合装置，装置的总体框架包含动作捕捉设备、动作捕捉设备客户端、服务端和数据接收客户端；可包括多个动作捕捉设备、多个动作捕捉设备客户端、一个服务端、一个或多个数据接收客户端；服务端包括数据接收器、数据解析与存储器、数据配准器、数据融合优化器和数据发布模块；每个动作捕捉设备与一个动作捕捉设备客户端相连接；动作捕捉设备客户端、数据接收客户端均与服务端连接；动作捕捉设备客户端与服务端的连接、数据接收客户端与服务端的连接均为socket连接；服务端对每个新的连接开启一个新线程；动作捕捉设备客户端用于读取所连接的动作捕捉设备获取的数据并将数据发送到服务端；服务端用于接收从客户端发送的数据，并对数据进行配准和融合处理；其中，服务端的数据接收器用于接收从客户端发送的数据，同时发送状态码到动作捕捉设备客户端；数据解析与存储器对数据接收器获得的数据进行解析并存储；数据配准器用于通过计算获得不同模式/类型数据的两两配准参数；数据融合优化器用于将不同模式/类型数据识别为同一用户并针对用户对不同模式/类型数据进行融合优化；数据发布模块用于对优化后的数据进行存储并等待发布请求；数据接收客户端用于接收向服务端请求融合后的数据并进一步对数据进行展示或分析处理。具体实施时，动作捕捉设备客户端采用带有动作捕捉设备的计算机，服务端可采用任意计算机，数据接收客户端可以是需要使用融合数据的显示设备或者计算机。上述多模式动作捕捉耦合装置在工作时，通过光学跟踪、视觉识别、惯性测量等多种传感器设备及相应的动作捕捉模式获取多种类型/模式的数据，经相应的客户端发送给服务端，服务端通过数据配准器、数据耦合器，获得多模式耦合优化数据，通过数据发布模块发送给数据接收客户端。其中，数据配准器以其中的某种模式的动作捕捉数据类型为基础建立坐标系，将其它类型的数据进行转换，建立统一的坐标系；数据耦合器对每个用户捕捉到的各类数据进行耦合优化；当用户使用任一种动作捕捉设备/模式时，捕捉获得的是经过多种动作捕捉模式耦合的优化数据。具体包括以下步骤：1)动作捕捉设备的客户端获取到多种模式动作捕捉设备捕捉到的数据并发送给服务端，服务端接收并存储数据；具体地，使用不同模式的多台动作捕捉设备，各个动作捕捉设备的客户端与服务端建立连接(socket连接)；客户端循环读取动作捕捉设备捕获到的数据；每次读取循环中，客户端读取到动作捕捉数据后即发送给服务端，并接收服务端返回的状态码；服务端对每个客户端的连接请求开启一个新线程；在开启的每一个线程中，服务端循环接收对应客户端发送的数据，将该数据根据预定义的传输格式进行解析后存储到服务端对应该设备的数据共享内存空间。2)通过服务端的数据配准器进行数据两两配准，得到配准参数；两种以上模式的耦合需要进行多次数据两两配准；数据两两配准具体执行如下操作：2.1获取坐标对利用两类不同模式的动作捕捉设备捕获多个点对，点对即空间中同一个点在两类坐标系(对应两类不同模式的动作捕捉设备)下的空间坐标，表示为X(x1,y1,z1,1)T和Y1(x3,y3,z3)T；点对应大致覆盖整个捕捉范围且均匀分布；2.2坐标对拟合，得到配准参数；通过变换公式对点对进行拟合，求取变换矩阵，作为配准参数；变换公式表示为式1：Y＝MX(式1)其中，X表示某一点在模式1坐标系下的坐标向量；Y表示相应点通过变换公式变换后的在模式2坐标系下的坐标向量；M为变换矩阵；具体地，X表示向量(x1,y1,z1,1)T，其中x1,y1,z1为该点在模式1坐标系下的坐标；Y表示向量(x2,y2,z2)T，x2,y2,z2为该点通过变换公式转换出在模式2坐标系下的坐标；M为3x4变换矩阵；通过拟合求取该变换矩阵，即配准参数。求取计算过程可使用逐步逼近的方式，使用梯度下降法优化目标函数。目标函数表示为式2：L＝∑本文档来自技高网...

【技术保护点】
1.一种多模式动作捕捉耦合装置，包括：动作捕捉设备、动作捕捉设备客户端、服务端和数据接收客户端；动作捕捉设备包括多种模式的一个或多个动作捕捉设备；数据接收客户端为一个或多个；每个动作捕捉设备与一个动作捕捉设备客户端相连接；动作捕捉设备客户端、数据接收客户端均与服务端连接；服务端包括数据接收器、数据解析与存储器、数据配准器、数据融合优化器和数据发布模块；动作捕捉设备客户端用于读取所连接的动作捕捉设备获取的数据并将数据发送到服务端；服务端用于接收从客户端发送的数据，并对数据进行配准和融合处理；其中，服务端的数据接收器用于接收从客户端发送的数据，同时发送状态码到动作捕捉设备客户端；数据解析与存储器对数据接收器获得的数据进行解析并存储；数据配准器用于获得不同模式或不同类型数据的两两配准参数；数据融合优化器用于将不同模式或不同类型数据识别为同一用户，并针对用户对不同模式或不同类型数据进行融合优化；数据发布模块用于对优化后的融合数据进行存储并发布；数据接收客户端用于接收向服务端请求的融合后的数据，并进一步对数据进行展示或分析处理。

【技术特征摘要】
1.一种多模式动作捕捉耦合装置，包括：动作捕捉设备、动作捕捉设备客户端、服务端和数据接收客户端；动作捕捉设备包括多种模式的一个或多个动作捕捉设备；数据接收客户端为一个或多个；每个动作捕捉设备与一个动作捕捉设备客户端相连接；动作捕捉设备客户端、数据接收客户端均与服务端连接；服务端包括数据接收器、数据解析与存储器、数据配准器、数据融合优化器和数据发布模块；动作捕捉设备客户端用于读取所连接的动作捕捉设备获取的数据并将数据发送到服务端；服务端用于接收从客户端发送的数据，并对数据进行配准和融合处理；其中，服务端的数据接收器用于接收从客户端发送的数据，同时发送状态码到动作捕捉设备客户端；数据解析与存储器对数据接收器获得的数据进行解析并存储；数据配准器用于获得不同模式或不同类型数据的两两配准参数；数据融合优化器用于将不同模式或不同类型数据识别为同一用户，并针对用户对不同模式或不同类型数据进行融合优化；数据发布模块用于对优化后的融合数据进行存储并发布；数据接收客户端用于接收向服务端请求的融合后的数据，并进一步...

【专利技术属性】
技术研发人员：陈斌，袁帅，易超，陈远秋，
申请(专利权)人：北京大学，
类型：新型
国别省市：北京,11