一种基于人机交互的智能零售终端操作系统技术方案

本发明专利技术公开了一种基于人机交互的智能零售终端操作系统，涉及用于人机交互领域，该系统包括动作捕捉模块，语音捕捉模块，视频捕捉模块，触摸捕捉模块。所述的用户意图判定均由当前模块判定为主，其他模块判定为辅。意图最终判定是由四大模块共同决定，并根据模块贡献率来分得权重。本发明专利技术可以有效增强在特定环境下，例如自助零售终端、银行自助终端、保险自助终端等需要客户正面面对设备的人机交互使用场景，对客户语音命令，手势命令或者触摸命令均可识别，且系统相互验证，大大提高了识别精度。

An Intelligent Retail Terminal Operating System Based on Human-Computer Interaction

【技术实现步骤摘要】
一种基于人机交互的智能零售终端操作系统
本专利技术公开了一种基于人机交互的智能零售终端操作系统，涉及人机交互领域。
技术介绍
目前的人机交互技术，都是完全基于单一的用户意图信息进行识别，如基于语义的音频识别，基于模式分割的视频识别，基于手势的手势识别和传统的基于触摸屏的触摸识别等。但这些方法中，除了传统的触摸识别外，都存在这识别精度不高等问题，经常出现机器错误理解用户意图的现象。尤其是对于用户处于一嘈杂环境下，同一声源位置不同人交替说话或附近有其他人在获得的情况下，无法有效识别目标用户意图。
技术实现思路
技术问题：为了解决上述问题。本专利技术公开了一种基于人机交互的智能零售终端操作系统。技术方案：公开了一种基于人机交互的智能零售终端操作系统，涉及用于人机交互领域，该系统包括动作捕捉模块，语音捕捉模块，视频捕捉模块，触摸捕捉模块。所述的用户意图判定均由当前模块判定为主，其他模块判定为辅。意图最终判定是由四大模块共同决定，并根据模块贡献率来分得权重。所述的一种基于人机交互的智能零售终端操作系统，其特征在于：所述的动作捕捉模块可以通过深度相机捕捉用户手势及三维深度信息。深度相机可以为Kine本文档来自技高网...

【技术保护点】
1.一种基于人机交互的智能零售终端操作系统，涉及用于人机交互领域，该系统包括动作捕捉模块，语音捕捉模块，视频捕捉模块，触摸捕捉模块；所述的用户意图判定均由当前模块判定为主，其他模块判定为辅；意图最终判定是由四大模块共同决定，并根据模块贡献率来分得权重。

【技术特征摘要】
1.一种基于人机交互的智能零售终端操作系统，涉及用于人机交互领域，该系统包括动作捕捉模块，语音捕捉模块，视频捕捉模块，触摸捕捉模块；所述的用户意图判定均由当前模块判定为主，其他模块判定为辅；意图最终判定是由四大模块共同决定，并根据模块贡献率来分得权重。2.根据权利要求1所述的一种基于人机交互的智能零售终端操作系统，其特征在于：所述的动作捕捉模块可以通过深度相机捕捉用户手势及三维深度信息；深度相机可以为Kinect或LeapMotion专用的体感相机；基于人机交互的智能零售终端操作系统内置手势库，可实时与用户手势相匹配，评估用户意图；手势信息，可作为主要信息进行用户意图判定，也可以作为潜在动作比对辅助语音捕捉模块进行用户意图判定；作为精确肢体动作辅助视频捕捉模块进行用户意图判定；作为精确肢体位置辅助触摸捕捉模块进行用户意图判定。3.根据权利要求1所述的一种基于人机交互的智能零售终端操作系统，其特征在于：所述的语音捕捉模块，通过音频传感器实时采集音频信息；将收集到的音频信息进行降噪处理，并对主要声音来源进行区分增强；由主要声音来源中确定出一个至多个主要操作者，并提取其语音中的关键词；基于人机交互的智能零售终端操作系统内置语音库，可实时与用户关键词相匹配，评估用户意图；语音信息中的关键词信息，可作为主要信息进行用户意图判定，也可以作为语义提示辅助动作捕捉模块，视频捕捉模块和触摸捕捉模块进行用户意图判定。4.根据权利要求1所述的一种基于人机交互的智能零售终端操作系统，其特征在于：所述的视频捕捉模块，通过图像传感器或者相机实时采集视频信息；将收集到的视频信息进行降噪处理，并对主要人物进...

【专利技术属性】
技术研发人员：赵健，戴旺，
申请(专利权)人：南京双路智能科技有限公司，
类型：发明
国别省市：江苏,32