基于时序信号匹配的交互方法、设备、介质及程序产品技术

本申请实施例提供一种基于时序信号匹配的交互方法、设备、介质及程序产品。其中，一智能设备具有传感器，传感器用于采集智能设备周围的环境数据，适用于智能设备的方法包括：在采集到的当前环境数据中含有目标手时，从当前环境数据中提取目标手的手部特征点；跟踪目标手，以得到手部特征点在跟踪时间段内形成的第一时序信号；对第一时序信号进行匹配分析，以确定第一时序信号对应的交互操作指令；按照交互操作指令，执行相应的交互操作。本方案利用智能设备上的传感器实现了纯视觉的手势交互、且可令用户与智能设备的手势交互不需要借助任何外部的辅助设备，利于提高用户交互体验感、降低交互成本。降低交互成本。降低交互成本。

【技术实现步骤摘要】
基于时序信号匹配的交互方法、设备、介质及程序产品


[0001]本申请涉及虚拟现实
，尤其涉及一种基于时序信号匹配的交互方法、设备、介质及程序产品。

技术介绍

[0002]随着科学技术的不断发展，各种智能设备不断推陈出新，在一定程度上给用户带来不错的体验。目前，如虚拟现实设备、智能手机、自动售票机等各种智能设备，与用户的交互如点击、输入等操作，基本上是依赖一些辅助设备，如可穿戴设备、鼠标、手柄、触屏等设备，给用户带来不便性、且增加了交互成本。

技术实现思路

[0003]鉴于上述问题，本申请提供一种解决上述问题或至少部分地解决上述问题的基于时序信号匹配的交互方法、设备、介质及程序产品。
[0004]在本申请的一个实施例中，提供了一种基于时序信号匹配的交互方法。该方法适用于具有传感器的智能设备，所述传感器用于采集所述智能设备周围的环境数据，所述方法包括：在采集到的当前环境数据中含有目标手时，从所述当前环境数据中提取所述目标手的手部特征点；跟踪所述目标手，以得到所述手部特征点在跟踪时间段内形成的第一时序信号；对所述第一时序信号进行匹配分析，以确定所述第一时序信号对应的交互操作指令；按照所述交互操作指令，执行相应的交互操作。
[0005]在本申请的另一实施例中，还提供了一种智能设备。该智能设备包括：传感器、存储器和处理器；其中，所述传感器，用于采集智能设备周围的环境数据；所述存储器，用于存储计算机程序；所述处理器，与所述存储器耦合，用于执行所述存储器中存储的所述计算机程序，以用于实现本申请实施例提供的所述基于时序信号匹配的交互方法中的步骤。
[0006]在本申请的又一实施例中，还提供了一种虚拟现实设备。该虚拟现实设备包括：传感器、存储器和处理器；其中，所述传感器，用于采集智能设备周围的环境数据；所述存储器，用于存储计算机程序；所述处理器，与所述存储器耦合，用于执行所述存储器中存储的所述计算机程序，以用于实现本申请实施例提供的所述基于时序信号匹配的交互方法中的步骤。
[0007]在本申请的又一实施例中，还提供了一种虚拟现实设备。该虚拟现实设备包括：头戴式设备体和遥控装置；其中，
所述头戴式设备体上设置有传感器，用于采集所述头戴式设备体周围的环境数据；所述遥控装置，与所述头戴式设备体通信连接；所述遥控装置上设置有处理器，用于实现本申请实施例提供的所述基于时序信号匹配的交互方法中的步骤。
[0008]在本申请的又一实施例中，还提供了一种虚拟现实眼镜。该虚拟现实眼镜包括：头戴式眼镜体和遥控装置；其中，所述头戴式眼镜体上设置有传感器，用于采集所述头戴式眼镜体周围的环境数据；所述遥控装置，与所述头戴式眼镜体通信连接；所述遥控装置上设置有处理器，用于实现本申请实施例提供的所述基于时序信号匹配的交互方法中的步骤。
[0009]本申请各实施例提供的技术方案，智能设备（如虚拟现实设备、虚拟现实眼镜）可通过自身具有的传感器来采集周围的环境数据，并在采集到的当前环境数据中含有目标手时，可从当前环境数据中提取目标手的手部特征点；进一步地，通过跟踪该目标手，可得到目标手的手部特征点在跟踪时间段内形成的第一时序信号，并通过对第一时序信号进行匹配分析，可确定出该第一时序信号对应的交互操作指令，从而按照该交互操作指令可执行相应的交互操作。本方案是利用智能设备上的传感器实现了一种纯视觉的手势交互、利于实现较多的手势交互动作，且可令用户与智能设备的手势交互不需要借助任何外部的辅助设备，有利于提高用户交互体验感、降低交互成本。
附图说明
[0010]为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要利用的附图作一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0011]图1为本申请一实施例提供的基于时序信号匹配的交互方法的流程示意图；图2为本申请一实施例提供的智能设备的具体形态示意图；图3为本申请一实施例提供的提取出的手部特征点的示意图；图4a为本申请一实施例提供的基于地面坐标系确定手部特征点的三维坐标手示意图；图4b为本申请一实施例提供的基于智能设备坐标系确定手部特征点的三维坐标手示意图；图5a和图5b为本申请实施例提供将手部特征点的三维坐标转化为其他类型的坐标原理性示意图；图6a和图6b为本申请实施例提供的虚拟现实设备的虚拟交互界面示意图；图7为本申请一实施例提供的基于时序信号匹配的交互装置的结构示意图；图8为本申请一实施例提供的智能设备的结构示意图；图9为本申请一实施例提供的计算机程序产品的结构示意图；图10为本申请又一实施例提供的基于时序信号匹配的交互方法流程示意图；图11为本申请一实施例提供的有关目标手的识别确定流程示意图；
图12为本申请一实施例提供的将第一时序信号与信号库中的第二时序信号进行匹配的流程示意图。
具体实施方式
[0012]目前，智能设备，比如虚拟现实设备（如头戴式的虚拟现实眼镜、虚拟现实眼罩等）、智能手机，个人电脑（包括台式计算机、笔记本电脑）、自动售票机等，与用户的交互如点击、输入等操作，主要是依赖于如鼠标、手柄、触屏、指环、交互笔等一些辅助设备来实现，这既增加了交互成本，同时也给用户带来不便性。虽然，对于一些相对更高级的智能设备，为用户也提供有其它交互方式，如语音交互，手势交互，但是针对上述手势交互，现有具有手势交互功能的智能设备并不存在完善的纯视觉手势交互功能，其在实现手势交互功能时往往仍需要用户佩戴一些辅助设备，比如具有定位功能的手套等可穿戴设备诸，而且，所能实现的手势交互也仅局限于少数的几个交互动作，比如简单的通过手指相互触碰实现点击，用户体验感相对较差。
[0013]针对上述问题，本申请提供了一种新的手势交互技术方案，本方案是基于时序信号匹配的交互技术方案，具体地，本方案是利用智能设备上的传感器（如图像传感器）实现了一种纯视觉的手势交互、且能实现的手势交互动作也比较多，可令用户与智能设备的交互不需要借助任何外部的辅助设备，有利于提高用户交互体验感、降低交互成本。
[0014]为了使本
的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。
[0015]在本申请的说明书、权利要求书及上述附图中描述的一些流程中，包含了按照特定顺序出现的多个操作，这些操作可以不按照其在本文中出现的顺序来执行或并行执行。操作的序号如101、102等，仅仅是用于区分各个不同的操作，序号本身不代表任何的执行顺序。另外，这些流程可以包括更多或更少的操作，并且这些操作可以按顺序执行或并行执行。需要说明的是，本文中的“第一”、“第二”等描述，是用于区分不同的消息、设备、模块等，不代表先后顺序，也不限定“第一”和“第二”是不同的类型。而本申请中术语“或/和”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如：A或/和B，表示可以单独本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于时序信号匹配的交互方法，其特征在于，适用于具有传感器的智能设备，所述传感器用于采集所述智能设备周围的环境数据，所述方法包括：在采集到的当前环境数据中含有目标手时，从所述当前环境数据中提取所述目标手的手部特征点；跟踪所述目标手，以得到所述手部特征点在跟踪时间段内形成的第一时序信号；对所述第一时序信号进行匹配分析，以确定所述第一时序信号对应的交互操作指令；按照所述交互操作指令，执行相应的交互操作。2.根据权利要求1所述的方法，其特征在于，对所述第一时序信号进行匹配分析，以确定所述第一时序信号对应的交互操作指令，包括：将所述第一时序信号与信号库中包括的至少一个第二时序信号进行匹配，确定与所述第一时序信号匹配的目标第二时序信号；将所述目标第二时序信号关联的交互操作指令，确定为所述第一时序信号对应的交互操作指令。3.根据权利要求2所述的方法，其特征在于，将所述第一时序信号与信号库中包括的至少一个第二时序信号进行匹配，确定与所述第一时序信号匹配的目标第二时序信号，包括：遍历所述至少一个第二时序信号，确定当前遍历到的第二时序信号；计算所述第一时序信号与当前遍历到的第二时序信号的内积；计算所述第一时序信号的第一平方、当前遍历到的第二时序信号的第二平方；根据所述内积、所述第一平方、所述第二平方，确定所述第一时序信号与当前遍历到的第二时序信号的匹配度；所述匹配度大于或等于匹配阈值时，遍历终止，将当前遍历到的第二时序信号确定为所述目标第二时序信号；或者，继续遍历直至确定出所述第一时序信号分别与各第二时序信号的匹配度，将匹配度最高且匹配度大于或等于匹配阈值的第二时序信号确定为所述目标第二时序信号；所述匹配度小于所述匹配阈值时，返回执行所述确定当前遍历到的第二时序信号的步骤。4.根据权利要求3所述的方法，其特征在于，还包括：对所述第一时序信号进行处理，确定处理后的第一时序信号；根据处理后的第一时序信号，触发执行所述将所述第一时序信号与信号库中包括的至少一个第二时序信号进行匹配的步骤，或触发执行所述计算所述第一时序信号与当前遍历到的第二时序信号的内积的步骤；其中，处理后的第一时序信号通过如下中的任一项确定：根据对所述第一时序信号进行标准处理所获得的标准处理后第一时序信号确定；根据对所述第一时序信号的参量进行调整所获得的调整后第一时序信号确定；其中，调整后第一时序信号的参量与所述当前遍历到的第二时序信号的参量相同，所述参量包括如下中的至少一种：时长、相位、频率；根据所述第一时序信号的衍生量确定，其中，所述衍生量包括如下中的任一种：对所述第一时序信号进行展开所获得的展开系数、对所述第一时序信号进行求导所获得的时间导数。
5.根据权利要求1至4中任一项所述的方法，其特征在于，所述智能设备具有的传感器包括图像传感器；以及，所述方法还包括：通过所述图像传感器采集所述智能设备周围的环境图像；在采集到的当前环境图像中含有手时，识别所述当前环境图像中是否存在目标手；存在所述目标手时，根据所述当前环境图像，触发执行所述从所述当前环境数据中提取所述目标手的手部特征点的步骤。6.根据权利要求5所述的方法，其特征在于，识别所述当前环境图像中是否存在目标手，包括：识别所述当前环境图像中是否存在符合预设规则的手；存在符合预设规则的手时，确定所述当前环境图像中存在目标手；其中，存在符合预设规则的手包括如下中的至少一项：当前环境图像中含有一只手；当前环境图像中含有与所述图像传感器的距离大于或等于第一距离阈值、且小于或等于第二距离阈值的手；当前环境图像中含有被所述智能设备的使...

【专利技术属性】
技术研发人员：李阳，
申请(专利权)人：中数元宇数字科技上海有限公司，
类型：发明
国别省市：