用于操纵虚拟环境的系统和方法技术方案

用于操纵在虚拟环境内的虚拟对象的方法的一种变型，包括：确定触摸传感器在真实空间内的第一位置；基于触摸传感器在真实空间内的第一位置，将虚拟对象的虚拟表面界定在通过在触摸传感器上的输入可操控的虚拟环境内；生成包括与在触摸传感器表面上的第一输入的力大小相关的大小和与触摸传感器在真实空间内的取向相关的方向的第一力矢量；基于在触摸传感器表面上的第一输入的第一定位和触摸传感器在真实空间内的第一位置，在虚拟环境内定位第一力矢量的原点；和根据第一力矢量操纵在虚拟环境内的虚拟对象的虚拟表面。

【技术实现步骤摘要】
【国外来华专利技术】用于操纵虚拟环境的系统和方法相关申请的交叉引用本申请要求享有于2015年7月29日提交的美国临时申请第62/198,222号的权益，其通过引用以其整体并入。本申请涉及于2014年9月26日提交的美国专利申请第14/499,001号，其通过引用以其整体并入。
本申请总体上涉及触摸传感器领域，并且更具体地涉及用于操纵虚拟环境的新的和有用的系统和方法。附图简述图1是第一方法的流程图表示；图2是第一方法的一个变型的流程图表示；图3是第一方法的一个变型和第二方法的流程图表示；图4是第一方法的一个变型和第二方法的一个变型的流程图表示；图5是第二方法的一个变型的流程图表示；图6是系统的流程图表示；图7是系统的一个变型的流程图表示；图8是系统的一个变型的流程图表示；图9是系统的一个变型的流程图表示；以及图10是系统的一个变型的示意表示。具体实施方式本专利技术的实施例的以下描述不旨在将本专利技术限制于这些实施例，而是旨在使本领域中的任何技术人员能够做出并且使用本专利技术。1.第一方法如图1所示，用于操纵虚拟环境的第一方法S100包括：在块S110中，在真实空间中检测触摸传感器表面；在块120中，基于触摸传感器表面在真实空间中的位置，将触摸传感器表面映射到虚拟环境中的虚拟表面；在块S130中，接收限定力在触摸传感器表面上的大小和位置的触摸图像；在块S140中，基于触摸传感器表面在真实空间中的取向，向力分配三维方向以构建矢量；以及在块S150中，根据虚拟环境内的矢量修改虚拟表面。如图3所示，第一方法S100的一种变型包括：在块S110中，在第一时间处确定触摸传感器在真实空间内的第一位置，触摸传感器包括触摸传感器表面；在块S120中，基于在第一时间处触摸传感器在真实空间内的第一位置，将虚拟对象的虚拟表面界定在通过在触摸传感器表面的区域上的输入可操控的虚拟环境内；在块S140中，在第一时间处生成第一力矢量，该第一力矢量包括与在触摸传感器表面上的第一输入的力大小有关的大小和与触摸传感器在真实空间内的取向有关的方向；在块S142中，基于在触摸传感器表面上的第一输入的第一定位和触摸传感器在真实空间内的第一位置，在虚拟环境内定位第一力矢量的原点；以及在块S150中，根据第一力矢量操纵虚拟环境内的虚拟对象的虚拟表面。1.1.应用通常，第一方法S100可以由托管虚拟环境的计算机系统执行，以将物理空间内的用户输入链接到虚拟环境内的虚拟对象。特别地，计算机系统可以与包括触摸传感器表面的输入设备(例如手持设备)对接以接收触摸传感器上的用户输入的力大小和位置数据、跟踪输入设备在真实空间内的位置和取向、基于输入设备在真实空间中的位置和取向将真实触摸传感器映射到虚拟环境内的虚拟表面或虚拟对象、然后基于触摸传感器表面上的输入的力大小和定位以及输入设备在真实空间中的位置和取向来操纵虚拟表面或虚拟对象。执行第一方法S100的计算机系统可以将触摸传感器表面上的输入的力大小、触摸传感器表面在真实空间中的取向以及触摸传感器表面上的输入的定位融合为：力矢量(即，力大小和方向)；以及力矢量在虚拟环境内的原点。计算机系统然后可以将力矢量投影到虚拟环境中以限定虚拟环境内的虚拟对象和/或虚拟表面的位置、尺寸或几何形状等的变化的大小和方向，从而链接在物理(即真实)空间中的触摸传感器表面上的用户输入，以控制或操纵虚拟环境内的虚拟对象或虚拟表面。在第一方法S100的一个示例中，响应于在触摸传感器表面上的特定静态定位上施加输入对象(例如，尖笔、手指)，其中触摸传感器表面上的特定定位被映射到虚拟三维对象的虚拟表面上的区域，计算机系统可以以一定速率和/或对应于输入的力大小的角度且在对应于真实空间中的触摸传感器表面的取向的方向上将虚拟三维对象的这个区域向内移位，如图2所示。在该示例中，当输入对象从特定定位移动到触摸传感器表面上的第二定位时，计算机系统可以以与所施加的力的初始大小相对应(或相反)的方向转移在虚拟对象的表面上的这个区域，并且沿着与输入对象从初始接触定位到触摸传感器表面上的第二定位的轨迹相对应的轨迹在虚拟对象的表面上形成虚拟谷，由此使用户能够通过将触摸传感器移动到对应于虚拟表面的真实空间中的位置且然后调制(诸如利用手指或尖笔)施加到触摸传感器的力的大小和位置来移动、操纵并修改虚拟环境内的虚拟对象的虚拟表面。计算机系统可以实施第一方法S100(以及下面描述的第二方法S200)的块，以根据各种输入模式在虚拟环境内将施加到触摸传感器表面的力映射到虚拟对象或虚拟对象的表面，诸如推动或拉动(即，平移)虚拟对象、旋转虚拟对象、弯曲或扭曲虚拟对象、使虚拟表面变形、使虚拟表面平滑化或纹理化等等。本文描述的第一方法S100(以及下面描述的第二方法S200)通常根据施加到输入设备的触摸传感器表面的力向内变形或“推动”虚拟对象或虚拟表面；然而，计算机系统也可以根据施加到触摸传感器表面的力来拉动、扭曲、旋转、平滑化、粗糙化(例如，“纹理化”)、或以其他方式操纵或修改虚拟对象或虚拟表面。此外，计算机系统可以在操作期间选择性地应用这些模式，诸如：根据在输入设备上的按钮或开关的选择模式化地、或者根据施加到触摸传感器表面的手势手势化地、由用户施加到触摸传感器表面的手指的数量、或者由用户施加到触摸传感器表面的手或手指的一部分，如下面所述。本文将第一方法S100描述为用于操纵诸如虚拟现实环境的虚拟环境的方法。然而，第一方法S100可以类似地被实施以诸如在手术环境内操纵增强现实环境。1.2.输入设备第一方法S100的块S130记述了接收限定触摸传感器表面上的力的大小和位置的触摸图像。通常，在块S130中，如下所述，计算机系统与包括触摸传感器和触摸传感器表面的输入设备对接(或包含、与其结合)，以接收触摸传感器表面上的诸如以触摸图像形式的输入的位置和力大小。输入设备在本文中被描述为包括至少一个压敏触摸传感器并且输出(真实)触摸传感器表面上一个或更多个接触区域(“输入”)的定位((X，Y)位置)和力大小的输入设备。在一个示例中，输入设备包括含有不透明直线主体和在不透明主体的一侧上的平面触摸传感器表面的平板。在类似的示例中，输入设备可以包括限定两个相对侧面的不透明直线主体和跨越两个侧面中的每一个侧面的平面触摸传感器表面。可选地，输入设备可以包括具有集成在主体的一个或更多个平面或非平面表面上的触摸传感器表面的球形、立方体、砖形或皂条形(例如，具有成角度的直线)的主体。通常，输入设备可结合一个或更多个压敏触摸传感器，其诸如在美国专利申请第14/499,001号中所描述的包括感测电极(例如，感测像素或感测元件)的阵列，且可以每个扫描周期按触摸传感器表面上的每个接触区域(即，由诸如手指、尖笔或画笔的真实对象接触的触摸传感器表面的面积)输出单个力大小值。例如，输入设备可以以100Hz的速率扫描压敏触摸传感器，并且对于每个扫描周期对于在触摸传感器表面上的每个离散接触区域记录在触摸传感器表面上检测到的接触区域内的峰值力、跨越接触区域的平均力、和/或在接触区域的有效中心或质心处的力。然后，在块S130中，在将另外一个容器上传到计算机系统之前，触摸传感器可以在每个扫描周期将这些输入定位、输入区域和输入力大小封装到一个矩阵或另外一本文档来自技高网...

【技术保护点】
一种用于操纵在虚拟环境内的虚拟对象的系统，包括：外壳；第一触摸传感器区域，所述第一触摸传感器区域包括：第一触摸传感器表面，所述第一触摸传感器表面跨越所述外壳的外部的第一区域延伸；第一感测电极阵列，所述第一感测电极阵列在基板上被图案化；以及第一电阻层，所述第一电阻层介于所述第一触摸传感器表面与所述第一感测电极阵列之间、与所述第一感测电极阵列接触、并且包括响应于施加到所述第一触摸传感器表面的力的变化呈现局部电阻变化的材料；第二触摸传感器区域，所述第二触摸传感器区域包括：第二触摸传感器表面，所述第二触摸传感器表面跨越所述外壳的外部的与所述第一区域相对的第二区域来延伸；第二感测电极阵列；以及第二电阻层，所述第二电阻层介于所述第二触摸传感器表面与所述第二感测电极阵列之间、与所述第二感测电极阵列接触并且包括所述材料；控制器，所述控制器耦合到所述外壳并被配置为：在扫描周期期间扫描所述第一感测电极阵列和所述第二感测电极阵列；基于所述第一感测电极阵列中的感测电极的子集的电阻值的改变，检测在所述第一触摸传感器表面上的第一定位处的第一力大小的第一输入；基于所述第二感测电极阵列中的感测电极的子集的电阻值的改变，检测在所述第二触摸传感器表面上的第二定位处的第二力大小的第二输入；对于所述扫描周期生成限定所述第一输入的所述第一定位和所述第一大小以及所述第二输入的所述第二定位和所述第二大小的触摸图像。...

【技术特征摘要】
【国外来华专利技术】2015.07.29 US 62/198,2221.一种用于操纵在虚拟环境内的虚拟对象的系统，包括：外壳；第一触摸传感器区域，所述第一触摸传感器区域包括：第一触摸传感器表面，所述第一触摸传感器表面跨越所述外壳的外部的第一区域延伸；第一感测电极阵列，所述第一感测电极阵列在基板上被图案化；以及第一电阻层，所述第一电阻层介于所述第一触摸传感器表面与所述第一感测电极阵列之间、与所述第一感测电极阵列接触、并且包括响应于施加到所述第一触摸传感器表面的力的变化呈现局部电阻变化的材料；第二触摸传感器区域，所述第二触摸传感器区域包括：第二触摸传感器表面，所述第二触摸传感器表面跨越所述外壳的外部的与所述第一区域相对的第二区域来延伸；第二感测电极阵列；以及第二电阻层，所述第二电阻层介于所述第二触摸传感器表面与所述第二感测电极阵列之间、与所述第二感测电极阵列接触并且包括所述材料；控制器，所述控制器耦合到所述外壳并被配置为：在扫描周期期间扫描所述第一感测电极阵列和所述第二感测电极阵列；基于所述第一感测电极阵列中的感测电极的子集的电阻值的改变，检测在所述第一触摸传感器表面上的第一定位处的第一力大小的第一输入；基于所述第二感测电极阵列中的感测电极的子集的电阻值的改变，检测在所述第二触摸传感器表面上的第二定位处的第二力大小的第二输入；对于所述扫描周期生成限定所述第一输入的所述第一定位和所述第一大小以及所述第二输入的所述第二定位和所述第二大小的触摸图像。2.根据权利要求1所述的系统：其中，所述第一感测电极阵列包括感测电极和驱动电极对的集合；其中，所述第一电阻层响应于在感测电极和驱动电极对的子集上对所述第一触摸传感器表面施加力而呈现在所述感测电极和驱动电极对的子集上的电接触电阻的变化；以及其中，所述控制器基于在所述感测电极和驱动电极对的子集中的感测电极和驱动电极上测量的电阻的改变来检测在所述第一触摸传感器表面上的所述第一输入，并且基于在所述感测电极和驱动电极对的子集中的感测电极和驱动电极上测量的电阻的改变的大小来确定所述第一输入的力大小。3.根据权利要求1所述的系统，其中，所述外壳限定圆柱形节段；并且其中所述第一触摸传感器表面和所述第二触摸传感器表面包括跨越所述外壳的圆柱形表面的连续的触摸传感器表面。4.根据权利要求1所述的系统，其中，所述第一触摸传感器表面限定在所述外壳的第一侧上的第一平面区域，并且其中所述第二触摸传感器表面限定在所述外壳的与所述外壳的第一侧相对的第二侧上的第二平面区域。5.根据权利要求1所述的系统，还包括计算机系统，所述计算机系统被配置为：接收来自所述控制器的与一系列采样周期相对应的一系列触摸图像；跨所述一系列触摸图像跟踪所述第一输入和所述第二输入；以及跨所述一系列触摸图像将所述第一输入和所述第二输入的力大小的增加、所述第一输入的第一定位的向上移位以及所述第二输入的第二定位的向上移位解释为在所述外壳的未感测表面上的第三输入，所述未感测表面在所述第一触摸传感器表面和所述第二触摸传感器表面之上并且基本上垂直于所述第一触摸传感器表面和所述第二触摸传感器表面。6.根据权利要求5所述的系统，其中，所述计算机系统远离所述外壳；并且还包括布置在所述外壳内并被配置为将所述一系列触摸图像发送到所述计算机系统的发射器。7.根据权利要求5所述的系统，其中，所述计算机系统基于所述第一输入和所述第二输入的力大小、所述第一输入的所述第一定位的向上移位的大小、以及所述第二输入的所述第二定位的向上移位的大小，估计所述外壳的所述未感测表面上的所述第三输入的第三力大小。8.根据权利要求1所述的系统，还包括套筒，所述套筒限定被配置为暂时地容纳所述外壳的容器、限定超出所述容器的外表面并且被配置为当所述外壳安装在所述容器中时将所述外表面上的力传递到所述第一触摸传感器表面中。9.根据权利要求8所述的系统，其中，所述套筒限定手持人体工学覆盖物；并且所述系统还包括第二套筒，所述第二套筒限定被配置成暂时地容纳所述外壳的第二容器、限定超出所述第二容器的第二外表面、被配置为当所述外壳安装在所述第二容器中时将所述第二外表面上的力传递到所述第一触摸传感器表面中，以及限定对应于在虚拟环境内的虚拟工具的工具的形式。10.根据权利要求8所述的系统，其中，所述套筒包括：第一硬度的刚性插入物；以及小于所述第一硬度的第二硬度的柔性基板，所述柔性基板插入在所述容器与所述刚性插入物之间、被配置为响应于在所述刚性插入物上朝向所述容器施加力而变形，并且被配置为将施加到所述刚性插入物的力传递到所述第一触摸传感器表面中。11.根据权利要求1所述的系统，其中，所述第一触摸传感器区域包括所述第一感测电极阵列，并且所述第二触摸传感器区域包括在所述基板上被图案化的所述第二感测电极阵列；并且其中所述基板被组装成在所述外壳内的三维结构以面对所述第一触摸传感器表面和所述第二触摸传感器表面。12.根据权利要求1所述的系统，还包括从所述外壳延伸且被配置为将所述外壳耦合到用户的手的条带。13.根据权利要求1所述的系统，还包括光学发射机，所述光学发射机耦合到所述外壳并且被配置为广播由外部跟踪系统可检测的光信号以确定所述外壳在真实空间内的位置和取向。14.一种用于操纵在虚拟环境内的虚拟对象的方法，包括：接收来自手持设备的触摸图像，所述触摸图像包括到集成到所述手持设备中的触摸传感器中的离散输入的表示；从所述触摸图像中提取在所述手持设备的第一侧上的第一定位处的第一输入的第一力大小；从所述触摸图像中提取在所述手持设备的第二侧上的第二定位处的第二输入的第二力大小，所述手持设备的第二侧与所述手持设备的第一侧相对；将所述第一输入和所述第二输入转换成手势；基于所述第一力大小为所述手势分配大小；以及基于所述手势的类型和大小来操纵在虚拟环境内的虚拟对象。15.根据权利要求14所述的系统：还包括从所述触摸图像中提取在所述手持设备的所述第二侧上的第三定位处的第三输入的第三力大小；其中，将所述第一输入和所述第二输入转换成所述手势包括：基于所述第一力大小接近所述第二力大小与所述第三力大小之和，将所述第一输入标记为预期输入；丢弃所述第二输入和所述第三输入；以及生成对应于分配给所述手持设备的包括所述第一定位的区域的命令的手势；以及其中，操纵在所述虚拟环境内的所述虚拟对象包括根据所述命令将所述虚拟对象转换到与所述第一力大小相关的程度。16.根据权利要求14所述的系统，其中，提取所述第一输入的所述第一力大小和所述第一定位以及所述第二输入的所述第二力大小和所述第二定位包括跨一系列触摸图像跟踪所述第一输入和所述第二输入；其中，将所述第一输入和所述第二输入转换为手势包括：将所述第一输入和所述第二输入的力大小的增加、所述第一输入的所述第一定位的向上移位以及所述第二输入的所述第二定位的向上移位解释为在所述手持设备的未感测表面上的第三输入，所述未感测表面在所述手持设备的所述第一侧和所述第二侧之上并且基本上垂直于所述手持设备的所述第一侧和所述第二侧；将所述第三输入标记为所述手持设备上的预期输入；丢弃所述第一输入和所述第二输入；以及生成对应于分配给所述手持设备的包括所述未感测表面的区域的命令的手势；其中，向所述手势分配大小包括基于所述第一输入和所述第二输入的力大小、所述第一输入的所述第一定位的向上移位的大小、以及所述第二输入的所述第二定位的向上移位的大小来向所述外壳的所述未感测表面上的所述第三输入分配第三力大小；以及其中，操纵在所述虚拟环境内的所述虚拟对象包括响应于所述第三力大小超过阈值力大小而根据所述命令选择所述虚拟对象。17.根据权利要求14所述的系统：其中，将所述第一输入和所述第二输入转换为所述手势包括基于所述第一定位和所述第二定位的通过所述手持设备的同轴接近度来生成抓握手势；其中，向所述手势分配大小包括将与所述第一力大小和所述第二力大小之和相关的抓握大小写入所述手势；以及其中，操纵在所述虚拟环境内的所述虚拟对象包括根据所述手势的所述抓握大小将虚拟工具耦合到所述虚拟对象。18.根据权利要求17所述的系统：还包括跟踪所述手持设备在真实空间内的位置；其中，操纵在所述虚拟环境内的所述虚拟对象包括：当所述第一输入的所述第一力大小和所述第二输入的所述第二力大小之和超过上限阈值力大小时，根据所述手持设备在真实空间内的位置的改变来在所述虚拟环境内移动所述虚拟对象和所述虚拟工具；响应于所述第一输入的所述第一力大小与所述第二输入的所述第二力大小之和下降到低于下限阈值力大小，在所述虚拟环境内将所述虚拟工具与所述虚拟对象分离；以及响应于所述第一输入的所述第一力大小与所述第二输入的所述第二力大小之和落入在所述上限阈值力大小和所述下限阈值力大小之间的力大小范围内，根据摩擦模型在所述虚拟环境内相对于所述虚拟工具来滑动所述虚拟对象。19.根据权利要求14所述的系统，其中，提取所述第一输入的所述第一力大小和所述第一定位以及所述第二输入的所述第二力大小和所述第二定位包括：识别所述触摸图像中的离散输入区域的集合；以及将所述离散输入区域的集合中的每个离散输入区域标记为手的手掌、第一指、第二指、第三指、第四指和第五指中的一者；其中，将所述第一输入和所述第二输入转换成所述手势包括基于所述离散输入区域的集合中的每个离散输入区域的定位和标记来生成限定虚拟手模型的每个虚拟手指的内收和外展位置的手势；其中，向所述手势分配大小包括基于所述离散输入区域的集合中的每个离散输入区域的力大小以所述虚拟手模型的每个虚拟手指的屈曲的大小来增强所述手势；以及其中，操纵在所述虚拟环境内的所述虚拟对象包括根据所述手势中限定的所述内收和外展位置以及屈曲的大小来在所述虚拟环境中转换所述虚拟手模型。20.根据权利要求14所述的系统，其中，将所述第一输入和所述第二输入转换为所述手势包括将所述第一输入和所述第二输入转换为与暂时安装在所述手持设备上的套筒覆盖物相对应的类型的手势。21.根据权利要求14所述的系统，还包括从所述触摸图像中提取在所述手持设备的所述第二侧上的第三定位处的第三输入的第三力大小；其中，将所述第一输入和所述第二输入转换为所述手势包括：根据所述手持设备的所述第二侧上的所述第二定位和所述第三定位之间的、跨越在所述手持设备的所述第一侧上的所述第一定位的横向分离来生成...

【专利技术属性】
技术研发人员：伊利亚·丹尼尔·罗森伯格，约翰·亚伦·萨拉加，亚历山大·米格尔·格劳，查尔斯·罗伯特·沃森，
申请(专利权)人：森赛尔股份有限公司，
类型：发明
国别省市：美国,US