基于多模态人机交互的健康信息管理电视制造技术

本发明专利技术提供了一种基于多模态人机交互的健康信息管理电视，包括：信息录入模块：录入用户的健康信息；输入交互模块：采集图像信息、声音信息、环境信息、文字输入信息等；健康监控模块：监控状态下，根据采集到的图像信息、声音信息判断用户的健康状态，并根据健康状态异常的类别执行对应的操作，以及根据采集到的环境信息给出对应的提示；输出交互模块：交互状态下，根据采集到的图像信息、声音信息、环境信息等，通过图像、文字及语音的方式与用户交互，并发送至云端的健康管理中心。本发明专利技术能够理解用户的行为意图，可以通过人与电视多模态交互的方法实现电视与人的健康信息管理，实现对用户行为的监督、判断和识别。

Health information management TV based on multimodality human-computer interaction

The invention provides a health information management of TV, multimodal human-computer interaction based on the information input module includes: health information input by user; input module: collect image information and voice information, environmental information, text input information; health monitoring module: monitoring condition, health status according to the collected image information the sound information, the user's judgment, and according to the health status of abnormal categories to execute corresponding operation, and according to the collected environmental information given the corresponding output; interactive module: the interactive mode, according to the collected image information and voice information, environmental information, image, text and voice by way of interaction with the user, and the health management center sent to the cloud. The invention can understand user's behavior intention, and can realize health information management of TV and human through the way of multimodal interaction between people and TV, and realize user's behavior's supervision, judgement and recognition.

【技术实现步骤摘要】
基于多模态人机交互的健康信息管理电视
本专利技术涉及自动化及人机交互
，具体地，涉及基于多模态人机交互的健康信息管理电视。
技术介绍
21世纪以来，国内智能电视行业正处于一个飞速发展的阶段，智能电视在家居服务、健康管理等领域起到了至关重要的作用。由于人机交互技术的日渐成熟，智能电视的交互功能也在不断提升。传统的电视往往不会与健康管理建立联系，即使与健康管理相关也仅仅是简单的收取健康类节目，并不能实现对用户的健康管理。具有健康管理功能的交互电视将更加得到使用者的喜爱和关注。常规的交互式设备往往侧重于手机端的开发。由于老年人使用电视的频率远大于使用手机的频率，在这个背景下，基于电视的交互式健康检测设备可以有效的提高对老年人的检测频率及时间长度。经过对现有技术文献的检索发现,专利技术专利(授权公告号：CN105635778A)是一种智能电视的语音交互方法及系统，这项专利技术与电视的语音交互相关，但所述电视不具有基于视觉的人机交互功能。专利技术专利(授权公告号：CN106303595A)是一种智能电视信息交互方法；这项专利技术与人与电视交互的方式相关，但没有健康管理功能。专利技术专利(授权公告号：CN106529143A)是一种云智能健康自检设备进行用户自主健康管理的方法，这项专利技术与健康自检相关，但所述设备不具有基于声觉和视觉的人机交互功能。专利技术专利(授权公告号：CN206021267U)是一种医疗信息交互设备，这项专利技术介绍了医疗信息交互及定位，但所述装置的交互方式通过手环实现，不具有基于声觉和视觉的交互功能，且没有应用到电视。专利技术专利(授权公告号：CN105185377A)是一种基于语音的文件生成方法及装置，这项专利技术介绍了将用户的语音信息转换为文字信息方法，但所述方法不具有基于视觉的人机交互功能及健康管理功能。
技术实现思路
针对现有技术中的缺陷，本专利技术的目的是提供一种基于多模态人机交互的健康信息管理电视。根据本专利技术提供的一种基于多模态人机交互的健康信息管理电视，包括：信息录入模块：录入用户的健康信息；输入交互模块：采集图像信息、声音信息、环境信息以及文字输入信息；健康监控模块：监控状态下，根据采集到的图像信息、声音信息判断用户的健康状态是否异常，并根据异常的类别执行对应的操作，以及根据采集到的环境信息给出对应的提示；输出交互模块：交互状态下，根据采集到的图像信息、声音信息以及文字输入信息进行综合分析，通过图像、语音及文字等方式与用户交互，并将健康数据发送至云端的健康管理中心。优选的，所述信息录入模块通过语音输入、文字输入或者图表识别的方式录入健康信息。优选的，所述输入交互模块通过摄像头及3D图像传感器采集图像信息，所述图像信息包括用户的身体姿态、面部疲劳状态、手势动作，通过麦克风采集声音信息，所述声音信息包括用户的语音信息、生理声纹信息，通过包括温度传感器、湿度传感器以及气压传器采集环境信息。优选的，所述健康状态包括：无环境因素下健康状态以及环境因素下健康状态。优选的，所述健康监控模块通过采集到的声音信息判断用户是否出现打喷嚏、咳嗽、呻吟在内的身体异常。优选的，所述健康监控模块通过采集到的图像信息判断用户是否出现包括久坐不起、摔倒、神态疲劳的身体异常。优选的，交互状态下，所述输出交互模块调用知识库内健康知识进行交互，并通过反馈机制，不断学习以提升人机交互的识别准确率。与现有技术相比，本专利技术具有如下的有益效果：本专利技术的意义在于真正的实现对用户的行为意图的理解，同时，本专利技术的电视具有健康管理功能，可以通过人与电视多模态交互的方法实现电视与人的健康信息管理，实现对用户行为的监督、判断和识别，进而实现类似功能。附图说明通过阅读参照以下附图对非限制性实施例所作的详细描述，本专利技术的其它特征、目的和优点将会变得更明显：图1为本专利技术的总体框图；图2为本专利技术的工作流程图；图3为输入交互模块与健康监控模块的工作流程图；图4为久坐提示的流程图；图5为摔倒提示的流程图；图6为环境信息提醒的流程图；图7为个性化日程提醒流程图。具体实施方式下面结合具体实施例对本专利技术进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本专利技术，但不以任何形式限制本专利技术。应当指出的是，对本领域的普通技术人员来说，在不脱离本专利技术构思的前提下，还可以做出若干变化和改进。这些都属于本专利技术的保护范围。如图1和图2所示，本专利技术基于多模态人机交互的健康信息管理电视包括：信息录入模块：通过语音输入、文字输入或者图表识别的方式录入健康信息；输入交互模块：采集图像信息、声音信息、环境信息以及文字输入信息，图像信息输入交互模块通过摄像头及3D图像传感器采集，包括人体姿态信息，面部表情信息等，如表情，坐姿，卧态，行为等；声音信息通过麦克风采集，包括语言信息，生理声纹信息，如声音，呻吟，咳嗽，打喷嚏等；环境信息通过对应的传感器采集，包括温度参数，湿度参数，气候信息等。健康监控模块：待机状态下，根据采集到的图像信息、声音信息判断用户的健康状态是否异常，并根据异常的类别执行对应的操作，以及根据采集到的环境信息给出对应的提示。健康状态包括：无环境因素下健康状态以及环境因素下健康状态。输出交互模块：交互状态下，根据采集到的图像信息、声音信息以及文字输入信息进行模板匹配，通过图像或者语音的方式与用户交互，以及通过文字的方式发送至云端的健康管理中心。本专利技术的具体实施如下：初次使用用户需创建结构式用户信息，包括个人基本信息、疾病信息、外部环境信息等。其中个人基本信息包含年龄，性别，血型，身高，体重，职业。可以通过用户主动的语音输入实现用户表单信息的记录，也可以通过文字输入、健康信息表图像识别等方式实现信息的录入。信息录入结束后，电视机进入待机状态。待机状态下，电视启动输入交互模块，健康监控模块。电视通过摄像头、麦克风、温度传感器、湿度传感器、气压传感器等多种设备，采集用户的健康信息、环境信息(包括外部大环境以及内部小环境)、及用户的健康状态等。输入交互模块和健康监控模块的工作流程如图3所示。对于接收到的图像信息，首先将图像信息区分为人体姿态、面部表情、手势动作、文字信息；对于人体姿态，采用3D图像传感器识别，并识别出是否存在长时间坐立、摔倒等状态；如存在，则进行健康提示，并将健康数据输送至健康管理中心；对于面部信息则通过基于视觉的疲劳检测方式实现健康监测，并进行健康提示；对于手势动作则进行手势识别进行意图理解；对于文字图像信息则通过OCR光学字符识别，并进行意图理解。对于接收到的声音信息，分离出周围无用的背景声音，如外部环境噪音等；针对接收到的声音信息中的语音部分，通过语音文本转换(STT)转换为文字信息，并进行语音信息的特征提取，分析不同用户的声纹、语气、语调，实现用户识别。其中，对于识别到的文字信息，通过意图理解对其进行对话回复，语音交互输出给用户；并解析出用户的语音指令、语音指示、操作要求等，进行交互操作；同时判断用户是否在呼救，如发现用户呼救，则启动危险预警。通过背景声音分离，判断出用户是否摔倒、咳嗽、呻吟、打鼾等；若出现不正常的响动或状态，则通过健康提示的方式通知用户及健康管理人员，并将健康数据送至健康管理中心。电视启动后，时刻保持监控状态。在此模式下，电视机会通过图像传感器、语音传本文档来自技高网...

【技术保护点】
一种基于多模态人机交互的健康信息管理电视，其特征在于，包括：信息录入模块：录入用户的健康信息；输入交互模块：采集图像信息、声音信息、环境信息以及文字输入信息；健康监控模块：监控状态下，根据采集到的图像信息、声音信息判断用户的健康状态是否异常，并根据异常的类别执行对应的操作，以及根据采集到的环境信息给出对应的提示；输出交互模块：交互状态下，根据采集到的图像信息、声音信息以及文字输入信息进行综合分析，通过图像、语音及文字等方式与用户交互，并将健康数据发送至云端的健康管理中心。

【技术特征摘要】
1.一种基于多模态人机交互的健康信息管理电视，其特征在于，包括：信息录入模块：录入用户的健康信息；输入交互模块：采集图像信息、声音信息、环境信息以及文字输入信息；健康监控模块：监控状态下，根据采集到的图像信息、声音信息判断用户的健康状态是否异常，并根据异常的类别执行对应的操作，以及根据采集到的环境信息给出对应的提示；输出交互模块：交互状态下，根据采集到的图像信息、声音信息以及文字输入信息进行综合分析，通过图像、语音及文字等方式与用户交互，并将健康数据发送至云端的健康管理中心。2.根据权利要求1所述的基于多模态人机交互的健康信息管理电视，其特征在于，所述信息录入模块通过语音输入、文字输入或者图表识别的方式录入健康信息。3.根据权利要求1所述的基于多模态人机交互的健康信息管理电视，其特征在于，所述输入交互模块通过摄像头及3D图像传感器采集图像信息，所述图像信息包括用户的身体姿态、面部...

【专利技术属性】
技术研发人员：赵群飞，张兆瑞，谭云龙，张鹏翥，
申请(专利权)人：上海交通大学，
类型：发明
国别省市：上海,31