智能电器的人机交互方法、系统及具有其的智能电器技术方案

本公开是关于一种智能电器的人机交互方法、系统及具有其的智能电器，涉及智能电器技术领域。其中，该方法包括：获取智能电器的交互对象的手语图像序列；根据该手语图像序列，确定对应的手语指令；控制智能电器执行与手语指令相应的动作，并获取智能电器执行相应的动作后的第一反馈信息；基于目标交互方式，将第一反馈信息提供给交互对象；其中，目标交互方式包括文字显示方式，语音播报方式，手语动画方式中的至少一种。本公开可满足听障人士或者语言障碍者与智能电器之间的智能交互需求。言障碍者与智能电器之间的智能交互需求。言障碍者与智能电器之间的智能交互需求。

Human computer interaction method and system of intelligent electrical appliance and intelligent electrical appliance with it

【技术实现步骤摘要】
智能电器的人机交互方法、系统及具有其的智能电器


[0001]本公开涉及智能电器
，尤其涉及一种智能电器的人机交互方法、系统及具有其的智能电器。

技术介绍

[0002]随着智能家居时代的到来，智能电器不再以单一传统的按键设计和指示设计来实现人机交互，智能电器与交互对象的智能交互方式愈发受到人们青睐。相关技术中，已有部分厂家在智能电器中集成智能语音助手，基于语音交互方式使得人机交互过程更加便捷。然而智能语音助手这类的人机交互方式并不适用于听障人士或者语言障碍者。

技术实现思路

[0003]为克服相关技术中存在的问题，本公开提供一种智能电器的人机交互方法、系统及具有其的智能电器、系统及具有其的智能电器。
[0004]根据本公开实施例的第一方面，提供一种智能电器的人机交互方法，包括：
[0005]获取所述智能电器的交互对象的手语图像序列；
[0006]根据所述手语图像序列，确定对应的手语指令；
[0007]控制所述智能电器执行与所述手语指令相应的动作，并获取所述智能电器执行所述相应的动作后的第一反馈信息；
[0008]基于目标交互方式，将所述第一反馈信息提供给所述交互对象；其中，所述目标交互方式包括文字显示方式，语音播报方式，手语动画方式中的至少一种。
[0009]可选地，在本公开一些实施例中，所述根据所述手语图像序列，确定对应的手语指令，包括：将所述手语图像序列与预设的手语文字映射库之中参考手语图像序列进行匹配，获得与所述手语图像序列匹配的目标参考手语图像序列；根据所述手语文字映射库，确定与所述目标参考手语图像序列对应的目标文字信息；根据所述目标文字信息，确定对应的手语指令。
[0010]可选地，在本公开一些实施例中，所述根据所述手语图像序列，确定对应的手语指令，包括：对所述手语图像序列进行语义文本识别，获得所述手语图像序列表达的语义文本；根据所述语义文本确定对应的手语指令。
[0011]可选地，在本公开一些实施例中，所述人机交互方法还包括：确定所述交互对象与所述智能电器的交互类型；响应于所述交互类型为手语交互类型，执行所述获取所述智能电器的交互对象的手语图像序列的步骤；或者，响应于所述交互类型为语音交互类型，获取所述交互对象的语音信息，并对所述语音信息进行语音识别，生成对应的语音指令，控制所述智能电器执行与所述语音指令相应的动作，以及获取所述智能电器执行与所述语音指令相应的动作后的第二反馈信息，基于所述语音播报方式将所述第二反馈信息提供给所述交互对象。
[0012]可选地，在本公开一些实施例中，所述智能电器为洗衣机，所述方法还包括：将所
述洗衣机的显示屏分成第一显示区域和第二显示区域；在所述第一显示区域显示所述洗衣机的当前洗涤程序信息，并在所述第二显示区域显示与所述当前洗涤程序信息对应的参数列表。
[0013]可选地，在本公开一些实施例中，所述智能电器为洗衣机，所述控制所述智能电器执行与所述手语指令相应的动作，并获取所述智能电器执行所述相应的动作后的第一反馈信息，包括：根据所述对应的手语指令，确定所述洗衣机待调节洗涤参数及其参数调整值；控制所述洗衣机将所述待调节洗涤参数调整为所述参数调整值，并获取所述洗衣机调整所述待调节洗涤参数后的第一反馈信息。
[0014]可选地，在本公开一些实施例中，所述目标交互方式至少包括手语动画方式；所述基于目标交互方式，将所述第一反馈信息提供给所述交互对象，包括：根据所述第一反馈信息生成对应的数字人响应手语动画视频；将所述洗衣机的显示屏分成多个显示区域；所述多个显示区域包括第一显示区域、第二显示区域和第三显示区域；在所述第一显示区域显示所述洗衣机的当前洗涤程序信息，并在所述第二显示区域显示所述参数调整值，以及在所述第三显示区域播放所述数字人响应手语动画视频。
[0015]根据本公开实施例的第二方面，提供一种智能电器的人机交互系统，包括：
[0016]显示屏，所述显示屏设于所述智能电器本体上；
[0017]图像采集装置，所述图像采集装置设于所述智能电器本体上，其中，所述图像采集装置用于采集交互对象的手语图像序列；
[0018]人机交互控制器，所述人机交互控制器分别与所述显示屏和所述图像采集装置连接；其中，所述人机交互控制器用于获取所述图像采集装置采集到的所述交互对象的手语图像序列，并根据所述手语图像序列，确定对应的手语指令，根据所述对应的手语指令，并控制所述智能电器执行与所述手语指令相应的动作，并获取所述智能电器执行所述相应的动作后的第一反馈信息，以及基于目标交互方式，将所述第一反馈信息提供给所述交互对象；其中，所述目标交互方式包括文字显示方式，语音播报方式，手语动画方式中的至少一种。
[0019]可选地，在本公开一些实施例中，所述人机交互控制器具体用于：将所述手语图像序列与预设的手语文字映射库之中参考手语图像序列进行匹配，获得与所述手语图像序列匹配的目标参考手语图像序列；根据所述手语文字映射库，确定与所述目标参考手语图像序列对应的目标文字信息；根据所述目标文字信息，确定对应的手语指令。
[0020]可选地，在本公开一些实施例中，所述人机交互控制器具体用于：对所述手语图像序列进行语义文本识别，获得所述手语图像序列表达的语义文本；根据所述语义文本确定对应的手语指令。
[0021]可选地，在本公开一些实施例中，所述人机交互系统还包括声音采集模块和声音播放模块，其中，所述声音采集模块设于所述智能电器本体上，所述声音采集模块用于采集交互对象的语音信息；所述声音播放模块设置于所述智能电器本体上；其中，所述人机交互控制器还用于：确定所述交互对象与所述智能电器的交互类型；响应于所述交互类型为手语交互类型，执行所述获取所述智能电器的交互对象的手语图像序列的步骤；或者，响应于所述交互类型为语音交互类型，获取所述声音采集模块采集到的所述语音信息，并对所述语音信息进行语音识别，生成对应的语音指令，控制所述智能电器执行与所述语音指令相
应的动作，以及获取所述智能电器执行与所述语音指令相应的动作后的第二反馈信息，基于所述语音播报方式和所述声音播放模块将所述第二反馈信息提供给所述交互对象。
[0022]可选地，在本公开一些实施例中，所述智能电器为洗衣机；所述人机交互控制器还用于：将所述洗衣机的显示屏分成第一显示区域和第二显示区域；控制所述显示屏在所述第一显示区域显示所述洗衣机的当前洗涤程序信息，并控制所述显示屏在所述第二显示区域显示与所述当前洗涤程序信息对应的参数列表。
[0023]可选地，在本公开一些实施例中，所述智能电器为洗衣机；所述人机交互控制器具体用于：根据所述对应的手语指令，确定所述洗衣机待调节洗涤参数及其参数调整值，并将所述洗衣机待调节洗涤参数及其参数调整值发送给所述洗衣机的电脑控制器；其中，所述电脑控制器用于将所述待调节洗涤参数调整为所述参数调整值；所述人机交互控制器还用于所述电脑控制器调整所述待调节洗涤参数后的第一反馈信息。
[0024本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种智能电器的人机交互方法，其特征在于，包括：获取所述智能电器的交互对象的手语图像序列；根据所述手语图像序列，确定对应的手语指令；控制所述智能电器执行与所述手语指令相应的动作，并获取所述智能电器执行所述相应的动作后的第一反馈信息；基于目标交互方式，将所述第一反馈信息提供给所述交互对象；其中，所述目标交互方式包括文字显示方式，语音播报方式，手语动画方式中的至少一种。2.如权利要求1所述的人机交互方法，其特征在于，所述根据所述手语图像序列，确定对应的手语指令，包括：将所述手语图像序列与预设的手语文字映射库之中参考手语图像序列进行匹配，获得与所述手语图像序列匹配的目标参考手语图像序列；根据所述手语文字映射库，确定与所述目标参考手语图像序列对应的目标文字信息；根据所述目标文字信息，确定对应的手语指令。3.如权利要求1所述的人机交互方法，其特征在于，所述根据所述手语图像序列，确定对应的手语指令，包括：对所述手语图像序列进行语义文本识别，获得所述手语图像序列表达的语义文本；根据所述语义文本确定对应的手语指令。4.如权利要求1所述的人机交互方法，其特征在于，还包括：确定所述交互对象与所述智能电器的交互类型；响应于所述交互类型为手语交互类型，执行所述获取所述智能电器的交互对象的手语图像序列的步骤；或者，响应于所述交互类型为语音交互类型，获取所述交互对象的语音信息，并对所述语音信息进行语音识别，生成对应的语音指令，控制所述智能电器执行与所述语音指令相应的动作，以及获取所述智能电器执行与所述语音指令相应的动作后的第二反馈信息，基于所述语音播报方式将所述第二反馈信息提供给所述交互对象。5.如权利要求4所述的人机交互方法，其特征在于，所述智能电器为洗衣机，所述方法还包括：将所述洗衣机的显示屏分成第一显示区域和第二显示区域；在所述第一显示区域显示所述洗衣机的当前洗涤程序信息，并在所述第二显示区域显示与所述当前洗涤程序信息对应的参数列表。6.如权利要求1至5中任一项所述的人机交互方法，其特征在于，所述智能电器为洗衣机，所述控制所述智能电器执行与所述手语指令相应的动作，并获取所述智能电器执行所述相应的动作后的第一反馈信息，包括：根据所述对应的手语指令，确定所述洗衣机待调节洗涤参数及其参数调整值；控制所述洗衣机将所述待调节洗涤参数调整为所述参数调整值，并获取所述洗衣机调整所述待调节洗涤参数后的第一反馈信息。7.如权利要求6所述的人机交互方法，其特征在于，所述目标交互方式至少包括手语动画方式；所述基于目标交互方式，将所述第一反馈信息提供给所述交互对象，包括：根据所述第一反馈信息生成对应的数字人响应手语动画视频；
将所述洗衣机的显示屏分成多个显示区域；所述多个显示区域包括第一显示区域、第二显示区域和第三显示区域；在所述第一显示区域显示所述洗衣机的当前洗涤程序信息，并在所述第二显示区域显示所述参数调整值，以及在所述第三显示区域播放所述数字人响应手语动画视频。8.一种智能电器的人机交互系统，其特征在于，包括：显示屏，所述显示屏设于所述智能电器本体上；图像采集装置，所述图像采集装置设于所述智能电器本体上，其中，所述图像采集装置用于采集交互对象的手语图像序列；人机交互控制器，所述人机交互控制器分别与所述显示屏和所述图像采集装置连接；其中，所述人机交互控制器用于获取所述图像采集装置采集到的所述交互对象的手语图像序列，并根据所述手语图像序列，确定对应的手语指令，根据所述对应的手语指令，并控制所述智能电器执行与所述手语指令相应的动作，并获取所述智能电器执行所述相应的动作后的第一反馈信息...

【专利技术属性】
技术研发人员：贺红斌，
申请(专利权)人：北京小米移动软件有限公司，
类型：发明
国别省市：