基于儿童专用穿戴智能设备的交互方法及系统技术方案

本发明专利技术提供的基于儿童专用穿戴智能设备的交互方法，其包含：启动儿童专用穿戴智能设备上的视觉识别模块，接收用户输入的多模态输入数据，依据多模态输入数据选择场景类型；在场景类型对应交互模式下，调用视觉识别模块中的视觉识别能力，采集当前视野下的图像信息；将图像信息上传至云端进行解析，得到与图像信息对应的多模态回应数据；接收并输出云端传送的所述多模态回应数据。本发明专利技术能够接收用户输入的多模态输入数据确定场景类型及交互模式，在确定的交互模式下采集图像信息传送至云端进行解析，生成多模态回应数据。本发明专利技术能够完成用户搜题、翻译、批改、百科等交互需求，给儿童用户提供更加便捷的交互服务，提升了用户的使用体验。

Interaction method and system based on children's special wearing intelligent device

【技术实现步骤摘要】
基于儿童专用穿戴智能设备的交互方法及系统
本专利技术涉及人工智能领域，具体地说，涉及一种基于儿童专用穿戴智能设备的交互方法及系统。
技术介绍
随着科学技术的不断发展，信息技术、计算机技术以及人工智能技术的引入，对于智能设备的研究已经逐步走出工业领域，逐渐扩展到了医疗、保健、家庭、娱乐以及服务行业等领域。而人们对于智能设备的要求也从简单重复的机械动作提升为具有拟人问答、自主性及与其他智能设备进行交互的设备，人机交互也就成为决定智能设备发展的重要因素。因此，提升智能设备的交互能力，改善智能设备的类人性和智能性，是现在亟需解决的重要问题。因此，本专利技术提供了一种基于儿童专用穿戴智能设备的交互方法及系统。
技术实现思路
为解决上述问题，本专利技术提供了一种基于儿童专用穿戴智能设备的交互方法，所述方法包含以下步骤：启动儿童专用穿戴智能设备上的视觉识别模块，接收用户输入的多模态输入数据，依据所述多模态输入数据选择场景类型；在场景类型对应交互模式下，调用所述视觉识别模块中的视觉识别能力，采集当前视野下的图像信息；将所述图像信息上传至云端进行解析，得到与所述图像信息对应的多模态回应数据；接收并输出所述云端传送的所述多模态回应数据。根据本专利技术的一个实施例，所述场景类型包含搜题场景、翻译场景、批改场景、百科场景、绘本场景、字迹场景以及造句场景。根据本专利技术的一个实施例，依据所述多模态输入数据选择场景类型，具体包含以下步骤：对所述多模态输入数据进行分析，提取所述多模态输入数据中包含的文字信息及用户的多模态指示信息；对所述文字信息以及所述多模态指示信息进行识别，获取所述文字信息对应的场景特征及用户需求；获取与所述场景特征匹配的场景类型。根据本专利技术的一个实施例，得到与所述图像信息对应的多模态回应数据的步骤中，还包含以下步骤：对所述图像信息进行光学字符识别以及图像识别以生成匹配结果数据，对所述匹配结果数据进行语音转化处理，将所述匹配结果数据中的文字数据转化成语音数据；依据所述匹配结果数据，确定与所述语音数据匹配的图片数据以及视频数据；得到包含所述文字数据、所述语音数据、所述图片数据以及所述视频数据的所述多模态回应数据。根据本专利技术的一个实施例，场景类型对应交互模式通过如下方式实现：当接收到用户输入的确认或打断指令时，接收用户输入的多模态交互数据；对所述多模态交互数据进行解析，获取用户的交互意图，依据所述交互意图与用户展开交互。根据本专利技术的一个实施例，所述方法还包括：获取当前用户的身份特征信息，对当前用户的用户属性进行判断，确定当前用户的类别，其中，用户的类别包含：儿童用户。根据本专利技术的另一个方面，还提供了一种程序产品，其包含用于执行如上任一项所述的方法步骤的一系列指令。根据本专利技术的另一个方面，还提供了一种基于儿童专用穿戴智能设备的交互装置，所述装置包含：第一模块，其用于启动儿童专用穿戴智能设备上的视觉识别模块，接收用户输入的多模态输入数据，依据所述多模态输入数据选择场景类型；第二模块，其用于在场景类型对应交互模式下，调用所述视觉识别模块中的视觉识别能力，采集当前视野下的图像信息；第三模块，其用于将所述图像信息上传至云端进行解析，得到与所述图像信息对应的多模态回应数据；第四模块，其用于接收并输出所述云端传送的所述多模态回应数据。根据本专利技术的另一个方面，还提供了一种儿童专用穿戴智能设备，用于执行如上任一项所述的方法步骤的一系列指令。根据本专利技术的另一个方面，还提供了一种基于儿童专用穿戴智能设备的交互系统，所述系统包含：如上所述的儿童专用穿戴智能设备；云端，其具备语义理解、视觉识别、认知计算以及情感计算，以决策所述儿童专用穿戴智能设备输出多模态数据。本专利技术提供的基于儿童专用穿戴智能设备的交互方法及系统提供了一种儿童专用穿戴智能设备，能够接收用户输入的多模态输入数据确定场景类型及交互模式，在确定的交互模式下采集图像信息传送至云端进行解析，生成多模态回应数据。本专利技术能够完成用户搜题、翻译、批改、百科等交互需求，给儿童用户提供更加便捷的交互服务，提升了用户的使用体验。本专利技术的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本专利技术而了解。本专利技术的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。附图说明附图用来提供对本专利技术的进一步理解，并且构成说明书的一部分，与本专利技术的实施例共同用于解释本专利技术，并不构成对本专利技术的限制。在附图中：图1显示了根据本专利技术的一个实施例的基于儿童专用穿戴智能设备的交互方法流程图；图2显示了根据本专利技术的一个实施例的基于儿童专用穿戴智能设备的交互方法中确定场景类型的流程图；图3显示了根据本专利技术的一个实施例的基于儿童专用穿戴智能设备的交互方法中生成多模态回应数据的流程图；图4显示了根据本专利技术的一个实施例的基于儿童专用穿戴智能设备的交互方法中接收到用户输入的确认或打断指令时的流程图；图5显示了根据本专利技术的一个实施例的基于儿童专用穿戴智能设备的交互方法中通过客户端进行交互的流程图；图6显示了根据本专利技术的一个实施例的基于儿童专用穿戴智能设备的交互装置的模块框图；图7显示了根据本专利技术的一个实施例的基于儿童专用穿戴智能设备的交互系统的结构框图；图8显示了根据本专利技术的另一个实施例的基于儿童专用穿戴智能设备的交互系统的结构框图；图9显示了根据本专利技术的另一个实施例的基于儿童专用穿戴智能设备的交互方法流程图；以及图10显示了根据本专利技术的一个实施例的用户、儿童专用穿戴智能设备以及云端的三方数据流图。具体实施方式为使本专利技术的目的、技术方案和优点更加清楚，以下结合附图对本专利技术实施例作进一步地详细说明。为表述清晰，需要在实施例前进行如下说明：本专利技术提到的儿童专用穿戴智能设备支持多模态人机交互，具备自然语言理解、视觉感知、语言语音输出、情感表情动作输出等AI能力；可配置社会属性、人格属性、人物技能等，使用户享受智能化及个性化流畅体验。在具体的实施例中，儿童专用穿戴智能设备可以是儿童手表、便携故事机、眼镜等具备图像采集能力的设备。儿童专用穿戴智能设备获取用户的多模态数据，在云端的能力支持下，对多模态数据进行语义理解、视觉识别、认知计算、情感计算，以完成决策输出的过程。所提到的云端为提供所述儿童专用穿戴智能设备对用户的交互需求进行语义理解(语言语义理解、动作语义理解、视觉识别、情感计算、认知计算)的处理能力的终端，实现与用户的交互，以决策所述儿童专用穿戴智能设备输出多模态数据。下面结合附图对本专利技术的各个实施例进行详细描述。图1显示了根据本专利技术的一个实施例的基于儿童专用穿戴智能设备的交互方法流程图。如图1，在步本文档来自技高网...

【技术保护点】
1.一种基于儿童专用穿戴智能设备的交互方法，其特征在于，所述方法包含以下步骤：/n启动儿童专用穿戴智能设备上的视觉识别模块，接收用户输入的多模态输入数据，依据所述多模态输入数据选择场景类型；/n在场景类型对应交互模式下，调用所述视觉识别模块中的视觉识别能力，采集当前视野下的图像信息；/n将所述图像信息上传至云端进行解析，得到与所述图像信息对应的多模态回应数据；/n接收并输出所述云端传送的所述多模态回应数据。/n

【技术特征摘要】
1.一种基于儿童专用穿戴智能设备的交互方法，其特征在于，所述方法包含以下步骤：
启动儿童专用穿戴智能设备上的视觉识别模块，接收用户输入的多模态输入数据，依据所述多模态输入数据选择场景类型；
在场景类型对应交互模式下，调用所述视觉识别模块中的视觉识别能力，采集当前视野下的图像信息；
将所述图像信息上传至云端进行解析，得到与所述图像信息对应的多模态回应数据；
接收并输出所述云端传送的所述多模态回应数据。


2.如权利要求1所述的方法，其特征在于，所述场景类型包含搜题场景、翻译场景、批改场景、百科场景、绘本场景、字迹场景以及造句场景。


3.如权利要求1-2中任一项所述的方法，其特征在于，依据所述多模态输入数据选择场景类型，具体包含以下步骤：
对所述多模态输入数据进行分析，提取所述多模态输入数据中包含的文字信息及用户的多模态指示信息；
对所述文字信息以及所述多模态指示信息进行识别，获取所述文字信息对应的场景特征及用户需求；
获取与所述场景特征匹配的场景类型。


4.如权利要求1所述的方法，其特征在于，得到与所述图像信息对应的多模态回应数据的步骤中，还包含以下步骤：
对所述图像信息进行光学字符识别以及图像识别以生成匹配结果数据，对所述匹配结果数据进行语音转化处理，将所述匹配结果数据中的文字数据转化成语音数据；
依据所述匹配结果数据，确定与所述语音数据匹配的图片数据以及视频数据；
得到包含所述文字数据、所述语音数据、所述图片数据以及所述视频数据的所述多模态回应数据。


5.如权利要求1-...

【专利技术属性】
技术研发人员：贾志强，俞晓君，
申请(专利权)人：北京光年无限科技有限公司，
类型：发明
国别省市：北京;11