一种基于手部动作捕捉的交互式建筑设计平台制造技术

本发明专利技术涉及一种基于手部动作捕捉的交互式建筑设计平台，使建筑设计师能够方便地通过手部感应操作的方式进行建筑设计创作，为交互式建筑设计的人机交互模式实现提供参考。所述平台包括四个部分，分别是手部数据（手位和手形）采集系统、手部动作识别系统、建筑设计软件、手部动作转换插件。首先，手部数据采集系统通过摄像头和红外传感器实时地采集手的位置（手位）和手的形状（手形）的空间数据；接着，手部动作识别系统对手部数据进行识别，计算得到掌心位置、手指位置、手部动作类型、手部动作意图等信息；最后，手部动作转换插件综合这些信息，将其转换成建筑设计软件的建模操作程序指令，建筑设计软件执行指令即实现搭建或操作建筑模型的效果。所述交互式建筑设计平台即能够实时地捕捉手部动作，又能够做到符合人的思维天性从而正确地表达创作意图，因此可以广泛应用于建筑设计创作和建筑作品展示之中。

【技术实现步骤摘要】

本专利技术涉及一种交互式建筑设计创作系统及方法，尤其涉及一种基于手部动作捕捉的交互式建筑设计平台。
技术介绍
随着计算机技术的快速发展，人机交互模式不断升级，手势识别、动作捕捉、可穿戴设备等技术的发展速度已超越人们的想象，不需要“学习”、依靠“直觉”便可使用、并能获得实时反馈的人机交互模式成为新的发展方向。然而，在建筑设计领域，现有的体型创作绘图软件工具都是基于鼠标和键盘操作的，需要学习且不符合人的思维天性。而建筑模型室的优势则无法集成于传统的绘图软件工具中。如何将新的交互技术植入建筑设计，创造一种更直观、更具有实时性的设计系统和方法，无疑是极富潜力和实用性的研究内容。因此，本专利技术提出了一种基于手部动作捕捉的交互式建筑设计平台，该平台由手部数据（手位和手形）采集系统、手部动作识别系统、建筑设计软件、手部动作转换插件四部分组成，手部数据采集系统通过摄像头和红外传感器实时地采集手的位置（手位）和手的形状（手形）的数据，手部动作识别系统对手部数据进行识别，计算得到掌心位置、手指位置、手部动作类型、手部动作意图等信息，手部动作转换插件综合这些信息，将其转换成建筑设计软件的建模操作程序指令，建筑设计软件执行指令即实现搭建或操作建筑模型的效果。
技术实现思路
本专利技术的目的是提供一种基于手部动作捕捉的交互式建筑设计平台，使建筑设计师能够方便地通过手部操作感应的方式进行建筑设计创作，为交互式建筑设计的人机交互模式实现提供参考。本专利技术所述的一种基于手部动作捕捉的交互式建筑设计平台包括四个部分，分别是手部数据（手位和手形）采集系统、手部动作识别系统、建筑设计软件、手部动作转换插件。手部数据采集系统包含集成摄像头和红外线传感器的设备，它能够以较高的捕捉速度（比如每秒1000次）同步采集视角范围内的三维图像数据和红外传感数据，将它们转换成数字信号，通过USB数据线传输到计算机的缓存中。手部动作识别系统是运行在计算机上的一个独立程序，它以手部数据采集系统捕捉速度一样的速度从计算机的缓存中读取上述数字信号，通过模式识别算法、手部图像识别算法，从数字信号中提取手部数据，可以同时识别多个手的数据，每个手部的数据包括：掌心三维坐标、掌心法向量、手部方向、每个手指的关节坐标和关节方向向量，每一次捕捉都会计算得到一组数据，基于连续多组的数据可以计算得到手部动作的类型，比如拍、划线、比划三角形、比划圆圈等，并可以计算得到手部的运动意图，比如缩放动作、旋转动作、移动动作等。现有多家公司能够提供包括手部数据采集系统和手部动作识别系统的产品，只要通过USB线将手部数据采集设备连接到一台计算机，并在该计算机上安装运行手部动作识别程序，参考该程序的应用程序开发接口（API），就可以基于它进行二次开发，即获得手部数据，并对数据进行进一步处理应用，现有Leap Motion, Kinect，Xses Mocap等手部动作捕捉产品。建筑设计软件是指计算机辅助设计软件，用户可以在软件上进行三维建模创作，这类软件具备可以通过插件进行拓展的能力，并且可以通过程序指令进行模型搭建和操作，现有Sketch Up, Auto CAD, Rhino等建筑设计软件。手部动作转换插件是运行在上述建筑设计软件上的插件，它将以手部数据采集系统捕捉速度一样的速度从手部动作识别系统中接收手部数据，解析这些数据，将其转换成建筑设计软件可执行的程序指令并且执行程序指令，从而达到创建模型和操作模型的效果，比如将手部动作的旋转意图转换成一条旋转模型的指令，执行指令之后，建筑设计软件中的三维模型将会被旋转，所述的程序指令在不同建筑设计软件上不一样，Sketch Up采用ruby程序语言、Auto CAD采用.NET（C#）程序语言、Rhino采用python程序语言。所述系统架构参考附图说明图1。本专利技术的特点及优势在于：（1） 集成手掌动作捕捉和建筑创作设计，实现一种新的建筑设计创作交互模式；（2） 所述交互式建筑设计平台即能够实时地捕捉手部动作，又能够做到符合人的思维天性从而正确地表达创作意图，因此可以广泛应用于建筑设计创作和建筑作品展示之中。本专利技术提出一种基于手部动作捕捉的交互式建筑设计平台，如图1所示，该平台由四个部分组成，手部数据采集系统通过USB数据线连接到一台计算机设备，比如台式机或者笔记本电脑，在计算机设备上运行手部动作识别程序，该程序同步地接收手部数据采集设备的数据，并计算识别出手部动作类型和手部运动意图，在建筑设计软件上启动手部动作转换插件，该插件同步地接收手部动作识别程序计算得到的手部运动数据，并将这些数据转换成建模操作程序指令，在建筑设计软件中执行。这里以手部动作捕捉产品Leap Motion和建筑设计软件Sketch Up作为一种具体实施途径进行描述。部分1手部空间数据采集设备——通过USB数据线连接到一台计算机即可（图2所示），并将手放在设备的视角范围之内（图3所示）。部分2手部动作识别程序运行在上述计算机上，它能够计算得到掌心位置和法向量（图4所示）、手指关节位置和方向向量（图5所示）、手部动作类型（图6所示）、手部运动意图（图7所示）。每一次捕捉的数据将会按照图8所示的结果进行封装，称为一个frame，从数据看出，可以识别多个手部（hands），每个手部（hand）包括掌心位置（palmPosition）、掌心法向量（palmNormal）、手部方向（direction）和手指位置方向信息（不再展开描述）；可以识别手掌动作类型，如图8示例，当前类型为画圆（circle），因此包括圆心(center)、圆平面法向量（normal）、半径（radius）和弧度（progress）信息；可以识别手部动作意图，包括平移（translation）、旋转（rotation）、缩放（scale）,每种意图有不同的特征描述参数，比如缩放就用缩放系数(factor)，比如示例的0.8，表示缩小到原来的0.8倍大小。 部分3手部动作转换插件运行在部分4建筑设计软件内，Sketch Up采用ruby作为插件开发脚本，按照规定格式组织ruby代码文件和编写ruby代码，并将代码文件放在Sketch Up指定的插件文件位置，重新启动Sketch Up就可以运行插件。手部动作转换插件以手部数据采集设备采集数据速度一样的速度从部分2中接收图8所示的数据，通过循环代码或定时监听器即可实现。部分3取到frame数据之后，对其进行解析，将手部数据转换成ruby程序指令并执行，如图8所示，存在缩放0.8倍的动作意图，则部分3将其转换成带ruby代码语句Camera.scale(0.8)，并执行，模型显示大小就会缩小为原来的0.8倍。 上面段落提出了结合Leap Motion和Sketch Up的一种具体实现方式，很方便地能够将上述具体实现方式迁移到其它的手部动作捕捉产品和建筑设计软件的结合上，只需要将对应部分的具体产品进行，采用对应的程序语言进行数据处理，就能够得到另外一种具体实现方式，在此不一一列举。附图说明图1是一种基于手部动作捕捉得交互式建筑设计平台示意图，图2是设备接入方式，图3是双手放在设备视角范围内，图4是掌心位置和法向量，图5是手指关节位置和方向，图6是手部动本文档来自技高网...

【技术保护点】
一种基于手部动作捕捉的交互式建筑设计平台，包括手部数据采集系统、手部动作识别系统、建筑设计软件和手部动作转换插件四个部分，手部数据采集系统通过摄像头和红外传感器实时地采集手的位置（手位）和手的形状（手形）的数据，手部动作识别系统对手部数据进行识别，计算得到掌心位置、手指位置、手部动作类型、手部动作意图等信息，手部动作转换插件综合这些信息，将其转换成建筑设计软件的建模操作程序指令，建筑设计软件执行指令即实现搭建或操作建筑模型的效果。

【技术特征摘要】
1.一种基于手部动作捕捉的交互式建筑设计平台，包括手部数据采集系统、手部动作识别系统、建筑设计软件和手部动作转换插件四个部分，手部数据采集系统通过摄像头和红外传感器实时地采集手的位置（手位）和手的形状（手形）的数据，手部动作识别系统对手部数据进行识别，计算得到掌心位置、手指位置、手部动作类型、手部动作意图等信息，手部动作转换插件综合这些信息，将其转换成建筑设计软件的建模操作程序指令，建筑设计软件执行指令即实现搭建或操作建筑模型的效果。2.所述基于手部动作捕捉的交互式建筑设计平台集成包括Leap Motion、Kinect、Xses Mocap等手部...

【专利技术属性】
技术研发人员：林波荣，陈洪钟，吕帅，
申请(专利权)人：林波荣，陈洪钟，吕帅，
类型：发明
国别省市：北京;11