一种基于图像识别的交互系统及交互方法技术方案

本申请公开了一种基于图像识别的交互系统及交互方法，其中，该系统通过影像模块在目标区域形成影像画面，通过信息获取模块获取所述影像画面中用户摆放的预设教具的排列信息或操作体的运动轨迹，最后通过结果匹配模块将所述预设教具的排列信息或所述操作体的运动轨迹与所述影像画面对应的期望结果进行匹配，在匹配一致时，控制所述影像模块输出第一结果信息，在匹配不一致时，控制所述影像模块输出第二结果信息。所述基于图像识别的交互系统在提供操作体交互方式的同时，还提供了一种全新的方式实现人、机和实物(预设教具)之间的交互，有助于实现场景化学习和个性化学习，实现了丰富交互系统的交互方式，提升用户对于交互内容的兴趣的目的。

【技术实现步骤摘要】
一种基于图像识别的交互系统及交互方法
本申请涉及人机交互
，更具体地说，涉及一种基于图像识别的交互系统及交互方法。
技术介绍
人机交互，又称人机互动(Human–ComputerInteraction或Human–MachineInteraction，简称HCI或HMI)，是一门研究系统与用户之间的交互关系的学问。人机交互技术越来越广泛地应用于娱乐和远程教育等领域，以远程教育为例，用户利用客户端获取学习界面，并通过输入设备反馈学习成果，实现远程学习和成果验收。最初的人机交互系统的模式单一，用户需要通过键盘等输入设备实现信息输入，系统通过输出设备实现信息输出或输入信息反馈。随着新技术的不断发展，语音、手势等新的输入方式出现，在一定程度上丰富了人机交互系统的交互方式。但对于应用于远程教育的人机交互系统而言，如何进一步丰富交互方式，以提升用户对于学习内容的兴趣，成为相关技术人员的研究方向之一。
技术实现思路
为解决上述技术问题，本申请提供了一种基于图像识别的交互系统及交互方法，以实现丰富交互系统的交互方式，提升用户对于交互内容的兴趣的目的。为实现上述技术目的，本申请实施例提供了如下技术方案：一种基于图像识别的交互系统，包括：影像模块，用于在目标区域形成影像画面；信息获取模块，用于获取所述影像画面中预设教具的排列信息或操作体的运动轨迹；结果匹配模块，用于将所述预设教具的排列信息或所述操作体的运动轨迹与所述影像画面对应的期望结果进行匹配，并在匹配一致时，控制所述影像模块输出第一结果信息，在匹配不一致时，控制所述影像模块输出第二结果信息。可选的，所述信息获取模块包括：图像获取单元，用于获取所述目标区域的图像信息，所述图像信息包括所述影像画面和排列于所述目标区域中的预设教具或包括轨迹影像序列，所述轨迹影像序列包括多张目标区域图像，每张所述目标区域图像包括所述影像画面和所述操作体在所述目标区域的位置信息；信息识别单元，用于对所述图像信息进行分类或识别，以获取所述影像画面中预设教具的排列信息或操作体的运动轨迹。可选的，所述信息识别单元包括：教具识别模型，用于对包括所述影像画面和排列于所述目标区域中的预设教具的图像信息进行分类，以获取所述预设教具的排列信息；轨迹识别模型，用于对所述轨迹影像序列进行信息提取，以获取每张所述目标区域图形中的操作体在所述目标区域的位置信息，并将所有所述目标区域图形中的操作体在所述目标区域的位置信息进行组合，以获取所述操作体的运动轨迹。可选的，所述教具识别模型为预先经过训练样本训练的深度学习网络模型；所述深度学习网络模型的训练过程包括：获取训练样本，所述训练样本为预先标记所述预设教具在目标区域中的排列信息的图像；利用所述训练样本对待训练深度学习网络模型进行训练，以获取所述深度学习网络模型。可选的，所述结果匹配模块包括：教具匹配单元，用于将所述预设教具的排列信息与所述影像画面对应的期望结果进行匹配，当所述预设教具的排列信息与所述影像画面对应的期望结果匹配一致时，控制所述影像模块输出第一结果信息，当所述预设教具的排列信息与所述影像画面对应的期望结果匹配不一致时，控制所述影响模块输出第二结果信息；轨迹匹配单元，用于将所述操作体的运动轨迹与所述影像画面对应的期望结果进行匹配，当所述操作体的运动轨迹与所述影像画面对应的期望结果匹配一致时，控制所述影像模块输出第一结果信息，当所述预设教具的排列信息与所述影像画面对应的期望结果匹配不一致时，控制所述影像模块输出第二结果信息。可选的，所述结果匹配模块还包括：结果提示单元，用于在当所述预设教具的排列信息与所述影像画面对应的期望结果匹配不一致，或当操作体的运动轨迹与所述影像画面对应的期望结果匹配不一致时，控制所述影像模块输出与所述影像画面对应的结果提示信息。一种基于图像识别的交互方法，包括：在目标区域形成影像画面；获取所述影像画面中预设教具的排列信息或操作体的运动轨迹；将所述预设教具的排列信息或所述操作体的运动轨迹与所述影像画面对应的期望结果进行匹配，并在匹配一致时，控制所述影像模块输出第一结果信息，在匹配不一致时，控制所述影像模块输出第二结果信息。可选的，所述获取所述影像画面中预设教具的排列信息或操作体的运动轨迹包括：获取所述目标区域的图像信息，所述图像信息包括所述影像画面和排列于所述目标区域中的预设教具或包括轨迹影像序列，所述轨迹影像序列包括多张目标区域图像，每张所述目标区域图像包括所述影像画面和所述操作体在所述目标区域的位置信息；对所述图像信息进行分类或识别，以获取所述影像画面中预设教具的排列信息或操作体的运动轨迹。可选的，所述对所述图像信息进行分类或识别，以获取所述影像画面中预设教具的排列信息或操作体的运动轨迹包括：利用教具识别模型，对包括所述影像画面和排列于所述目标区域中的预设教具的图像信息进行分类，以获取所述预设教具的排列信息；利用轨迹识别模型，对所述轨迹影像序列进行信息提取，以获取每张所述目标区域图形中的操作体在所述目标区域的位置信息，并将所有所述目标区域图形中的操作体在所述目标区域的位置信息进行组合，以获取所述操作体的运动轨迹。可选的，还包括：在当所述预设教具的排列信息与所述影像画面对应的期望结果匹配不一致，或当所述操作体的运动轨迹与所述影像画面对应的期望结果匹配不一致时，控制所述影像模块输出与所述影像画面对应的结果提示信息。从上述技术方案可以看出，本申请实施例提供了一种基于图像识别的交互系统及交互方法，其中，所述基于图像识别的交互系统通过影像模块在目标区域形成影像画面，通过信息获取模块获取所述影像画面中用户摆放的预设教具的排列信息或操作体的运动轨迹，最后通过结果匹配模块将所述预设教具的排列信息或所述操作体的运动轨迹与所述影像画面对应的期望结果进行匹配，在匹配一致时，控制所述影像模块输出第一结果信息，在匹配不一致时，控制所述影像模块输出第二结果信息。所述基于图像识别的交互系统在提供操作体交互方式的同时，还提供了一种全新的方式实现人、机和实物(预设教具)之间的交互，有助于实现场景化学习和个性化学习，实现了丰富交互系统的交互方式，提升用户对于交互内容的兴趣的目的。附图说明为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。图1为本申请的一个实施例提供的一种基于图像识别的交互系统的结构示意图；图2为本申请的一个实施例提供的一种预设教具的示意图；图3为一种用户使用所述基于图像识别的交互系统进行交互的场景示意图；图4为另一种用户使用所述基于图像识别的交互系统进行本文档来自技高网...

【技术保护点】
1.一种基于图像识别的交互系统，其特征在于，包括：/n影像模块，用于在目标区域形成影像画面；/n信息获取模块，用于获取所述影像画面中预设教具的排列信息或操作体的运动轨迹；/n结果匹配模块，用于将所述预设教具的排列信息或所述操作体的运动轨迹与所述影像画面对应的期望结果进行匹配，并在匹配一致时，控制所述影像模块输出第一结果信息，在匹配不一致时，控制所述影像模块输出第二结果信息。/n

【技术特征摘要】
1.一种基于图像识别的交互系统，其特征在于，包括：
影像模块，用于在目标区域形成影像画面；
信息获取模块，用于获取所述影像画面中预设教具的排列信息或操作体的运动轨迹；
结果匹配模块，用于将所述预设教具的排列信息或所述操作体的运动轨迹与所述影像画面对应的期望结果进行匹配，并在匹配一致时，控制所述影像模块输出第一结果信息，在匹配不一致时，控制所述影像模块输出第二结果信息。


2.根据权利要求1所述的基于图像识别的交互系统，其特征在于，所述信息获取模块包括：
图像获取单元，用于获取所述目标区域的图像信息，所述图像信息包括所述影像画面和排列于所述目标区域中的预设教具或包括轨迹影像序列，所述轨迹影像序列包括多张目标区域图像，每张所述目标区域图像包括所述影像画面和所述操作体在所述目标区域的位置信息；
信息识别单元，用于对所述图像信息进行分类或识别，以获取所述影像画面中预设教具的排列信息或操作体的运动轨迹。


3.根据权利要求2所述的基于图像识别的交互系统，其特征在于，所述信息识别单元包括：
教具识别模型，用于对包括所述影像画面和排列于所述目标区域中的预设教具的图像信息进行分类，以获取所述预设教具的排列信息；
轨迹识别模型，用于对所述轨迹影像序列进行信息提取，以获取每张所述目标区域图形中的操作体在所述目标区域的位置信息，并将所有所述目标区域图形中的操作体在所述目标区域的位置信息进行组合，以获取所述操作体的运动轨迹。


4.根据权利要求3所述的基于图像识别的交互系统，其特征在于，所述教具识别模型为预先经过训练样本训练的深度学习网络模型；
所述深度学习网络模型的训练过程包括：
获取训练样本，所述训练样本为预先标记所述预设教具在目标区域中的排列信息的图像；
利用所述训练样本对待训练深度学习网络模型进行训练，以获取所述深度学习网络模型。


5.根据权利要求1所述的基于图像识别的交互系统，其特征在于，所述结果匹配模块包括：
教具匹配单元，用于将所述预设教具的排列信息与所述影像画面对应的期望结果进行匹配，当所述预设教具的排列信息与所述影像画面对应的期望结果匹配一致时，控制所述影像模块输出第一结果信息，当所述预设教具的排列信息与所述影像画面对应的期望结果匹配不一致时，控制所述影响模块输出第二结果信息；
轨迹匹配单元，用于将所述操作体的运动轨迹与所述影像画面对...

【专利技术属性】
技术研发人员：张量，唐崧，崔玮，
申请(专利权)人：北京小狗智能机器人技术有限公司，
类型：发明
国别省市：北京;11