基于人工智能的桌面交互方法技术

本申请公开了一种基于人工智能的桌面交互方法，包括：当使用者的手势正确时，检测手的位置；匹配所述手的位置图像与预设图像；获取匹配成功的所述预设图像对应的第一文本信息；识别手指关键点的周围第二文本信息；及匹配所述第一文本信息与所述第二文本信息，获得第三文本信息，并返回将所述第三文本信息对应的服务。本申请提出一种利用人工智能技术来识别动作和手势的新的交互方式，并将这种交互方式应用到桌面学习和娱乐场景。能够自动识别使用者的手势并根据手势触发相应的应用程序。

Desktop interaction method based on Artificial Intelligence

The application discloses a desktop interaction method based on artificial intelligence, including: detecting the position of the hand when the user's gesture is correct; matching the position image of the hand with the preset image; obtaining the first text information corresponding to the preset image matching successfully; identifying the second text information around the key points of the hand; and matching the first text information with the second text This information obtains the third text information and returns the service corresponding to the third text information. The present application proposes a new interaction mode that uses artificial intelligence technology to recognize actions and gestures, and applies this interaction mode to desktop learning and entertainment scenes. It can automatically recognize the user's gesture and trigger the corresponding application according to the gesture.

【技术实现步骤摘要】
基于人工智能的桌面交互方法
本申请涉及人工智能领域，具体而言，涉及一种基于人工智能的桌面交互方法。
技术介绍
现有的桌面交互方法中，不能自动识别使用者的手势，并且根据手势触发交互程序。
技术实现思路
根据本申请的一个方面，提供了一种基于人工智能的桌面交互方法，包括：当使用者的手势正确时，检测手的位置；匹配所述手的位置图像与预设图像；获取匹配成功的所述预设图像对应的第一文本信息；识别手指关键点的周围第二文本信息；及匹配所述第一文本信息与所述第二文本信息，获得第三文本信息，并返回将所述第三文本信息对应的服务。可选地，当使用者的手势正确时，检测手的位置之前还包括：判断手是否完全至于桌面；及当手完全至于桌面时，判断手势是否正确。可选地，判断手是否完全至于桌面包括：手机、平板或者其他摄像装置实时采集连续图像，将图像输入训练好的深度感知模型，深度感知模型可以判断手是否在桌面，当手完全置于桌面上时，返回结果1，并进入到下一步；当手未完全置于桌面上时，返回结果0，并重复判断手是否完全至于桌面。可选地，判断手势是否正确包括：当感所述深度知模型判断手处于桌面时，将当前帧的图像输入训练好的手势识别模型，手势识别模型可以判断该手势是否是正确操作手势，当图像中手势是正确手势时，返回结果1，并进入到下一步；当图像中手势是错误手势时，返回结果0，并重复判断手是否完全至于桌面。可选地，检测手的位置包括：将当前帧的图像输入训练好的手检测和定位模型，该检测和定位模型能够识别手的位置和相应手关键点的位置。可选地，匹配所述手的位置图像与预设图像包括：检测到手的位置和相应关键点位置之后，提取当前帧图像的SIFT特征，将当前帧图像的SIFT特征与数据库中所有图像的特征进行匹配，并返回匹配图像的ID。可选地，获取匹配成功的所述预设图像对应的第一文本信息包括：根据所述ID值，从数据库中获取对应的文本信息，包括但不限于中英文句子、单词、题目。可选地，识别手指关键点的周围第二文本信息包括：根据手关键点的位置，截取一个图像区域，通过OCR识别图像区域中的文本信息。可选地，匹配所述第一文本信息与所述第二文本信息，获得第三文本信息，并返回将所述第三文本信息对应的服务包括：所述第二文本信息与所述第一文本信息进行匹配，得到匹配到的所述第三文本，根据匹配到的所述第三文本信息，如果是中英文单词或者句子，则将翻译后的结果朗读并且显示到屏幕上；如果是题目信息，则搜索解答过程并将其显示在屏幕上。为了实现上述目的，根据本申请的另一方面，提供了一种计算机设备。根据本申请的计算机设备包括：存储器、处理器和存储在所述存储器内并能由所述处理器运行的计算机程序，所述处理器执行所述计算机程序时实现上述任一项所述的方法。本申请提供的利用人工智能技术来识别动作和手势的新的交互方式，并将这种交互方式应用到桌面学习和娱乐场景。这种交互方式需要借助于外部设备完成，外部设备分为两种。第一种是，硬件立于桌面，顶部有一个单目摄像头斜向下照射，能够清晰地拍摄桌面的书本、手、文字、图片信息等。第二种是，利用手机或者平板立于桌面，在手机或者平板上方安放一个光学反射系统，该光学反射系统通过反射成像，使得手机或者平板的前置摄像头能够清晰地拍摄到桌面的书本、手、文字、图片信息等。附图说明构成本申请的一部分的附图用来提供对本申请的进一步理解，使得本申请的其它特征、目的和优点变得更明显。本申请的示意性实施例附图及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：图1是根据本申请一种实施例的基于人工智能的桌面交互方法的流程示意图；图2是根据本申请一种实施例的深度感知模型的详细结构图；图3是根据本申请一种实施例的手势判别模型的详细结构图；图4是根据本申请一个实施例的手检测和关键点定位模型的详细结构图；图5是根据本申请一个实施例的提取当前画面SIFT特征的流程图；以及图6是根据本申请一个实施例的计算机设备的示意图。具体实施方式为了使本
的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。需要说明的是，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。如图1所示，本申请一实施例中，提供了一种基于人工智能的桌面交互方法，包括：步骤S102：当使用者的手势正确时，检测手的位置；步骤S104：匹配所述手的位置图像与预设图像；步骤S106：获取匹配成功的所述预设图像对应的第一文本信息；步骤S108：识别手指关键点的周围第二文本信息；及步骤S110：匹配所述第一文本信息与所述第二文本信息，获得第三文本信息，并返回将所述第三文本信息对应的服务。在本申请一实施例中，当使用者的手势正确时，检测手的位置之前还包括：步骤S100：判断手是否完全至于桌面；及步骤S101：当手完全至于桌面时，判断手势是否正确。在本申请一实施例中，判断手是否完全至于桌面包括：手机、平板或者其他摄像装置实时采集连续图像，将图像输入训练好的深度感知模型，深度感知模型可以判断手是否在桌面，当手完全置于桌面上时，返回结果1，并进入到下一步；当手未完全置于桌面上时，返回结果0，并重复判断手是否完全至于桌面。在本申请一实施例中，判断手势是否正确包括：当感所述深度知模型判断手处于桌面时，将当前帧的图像输入训练好的手势识别模型，手势识别模型可以判断该手势是否是正确操作手势，当图像中手势是正确手势时，返回结果1，并进入到下一步；当图像中手势是错误手势时，返回结果0，并重复判断手是否完全至于桌面。在本申请一实施例中，检测手的位置包括：将当前帧的图像输入训练好的手检测和定位模型，该检测和定位模型能够识别手的位置和相应手关键点的位置。在本申请一实施例中，匹配所述手的位置图像与预设图像包括：检测到手的位置和相应关键点位置之后，提取当前帧图像的SIFT特征，将当前帧图像的SIFT特征与数据库中所有图像的特征进行匹配，并返回匹配图像的ID。在本申请一实施例中，获取匹配成功的所述预设图像对应的第一文本信息，第一文本信息为从数据库中获取对应的文本信息，包括：本文档来自技高网...

【技术保护点】
1.一种基于人工智能的桌面交互方法，其特征在于，包括：/n当使用者的手势正确时，检测手的位置；/n匹配所述手的位置图像与预设图像；/n获取匹配成功的所述预设图像对应的第一文本信息；/n识别手指关键点的周围第二文本信息；及/n匹配所述第一文本信息与所述第二文本信息，获得第三文本信息，并返回将所述第三文本信息对应的服务。/n

【技术特征摘要】
1.一种基于人工智能的桌面交互方法，其特征在于，包括：
当使用者的手势正确时，检测手的位置；
匹配所述手的位置图像与预设图像；
获取匹配成功的所述预设图像对应的第一文本信息；
识别手指关键点的周围第二文本信息；及
匹配所述第一文本信息与所述第二文本信息，获得第三文本信息，并返回将所述第三文本信息对应的服务。


2.根据权利要求1所述的基于人工智能的桌面交互方法，其特征在于，当使用者的手势正确时，检测手的位置之前还包括：
判断手是否完全至于桌面；及
当手完全至于桌面时，判断手势是否正确。


3.根据权利要求2所述的基于人工智能的桌面交互方法，其特征在于，判断手是否完全至于桌面包括：
手机、平板或者其他摄像装置实时采集连续图像，将图像输入训练好的深度感知模型，深度感知模型可以判断手是否在桌面，当手完全置于桌面上时，返回结果1，并进入到下一步；当手未完全置于桌面上时，返回结果0，并重复判断手是否完全至于桌面。


4.根据权利要求3所述的基于人工智能的桌面交互方法，其特征在于，判断手势是否正确包括：
当感所述深度知模型判断手处于桌面时，将当前帧的图像输入训练好的手势识别模型，手势识别模型可以判断该手势是否是正确操作手势，当图像中手势是正确手势时，返回结果1，并进入到下一步；当图像中手势是错误手势时，返回结果0，并重复判断手是否完全至于桌面。


5.根据权利要求4所述的基于人工智能的桌面交互方法，其特征在于，检测手的位置包括：将当前帧的图像输入训练好的...

【专利技术属性】
技术研发人员：张哲，
申请(专利权)人：上海纸上绝知智能科技有限公司，
类型：发明
国别省市：上海;31