智能颈戴设备及其控制方法技术

本发明专利技术提供了一种智能颈戴设备，包括主机，主机包括用于收集并处理环境声音信息，以及生成3D和/或AR音频数据的音频处理模块、用于收集并处理环境图像信息，以及生成包括环境声音的声源位置信息的显示数据的图像处理模块、用于对各个模块的信息数据进行综合处理和控制的中央处理模块和存储由中央处理模块执行的计算机程序的存储模块。显示数据包括VR、AR、MR中至少一种或两种及两种以上的组合数据。如此设置，能够实现在VR和/或AR显示中标记环境中声音的声源位置，实现让耳聋人士通过VR或AR显示的画面确定声音的来源，提高其在复杂环境中的适应能力。同时为其他移动终端提供了智能移动硬件平台。本发明专利技术还提供了一种智能颈戴设备的控制方法。

【技术实现步骤摘要】
智能颈戴设备及其控制方法
本专利技术涉及电子
，特别是涉及一种智能颈戴设备及其控制方法。
技术介绍
听力、视力和语言在人的智力发育中占据重要地位。目前，耳聋人士一般在语言发育完成前(5岁)通过植入人工耳蜗来获得听力。但是，该种通过植入人工耳蜗来获得听力的人群，仅仅是能够获得部分听力，而无法定位声源的位置，且无法适应复杂的声音环境。此外，大部分未做人工耳蜗的耳聋人士则听不到外界声音,导致该类人群一般不会说话，通常使用手语交流或文字交流，且智力较一般同龄人低。盲人只能听见外界声音而看不见世界,一般使用语言交流，使用盲文阅读。但无法与聋哑人交流。此外，盲人可以选择使用导盲犬做向导,或使用电子导盲仪(舌头导盲仪和前额导盲仪或仿生电子眼)获得部分视力,而盲人使用电子导盲仪需要在失明前已完成视觉发育，而获得的部分视力是只是比较模糊的简单黑白形状，所以还是只能听见外界声音而看不外界世界,一般使用语言交流，使用盲文阅读。色盲人士能够看到外界，但其眼中的世界与常人看到的颜色不同。哑巴一般能够发出一定的声音但不能够像正常人一样形成语言，一般需要使用哑语进行交流。但大部分人不懂哑语。因此，该人士只能够跟少部分人交流，交际范围受到很大的限制。另一方面，在聋哑学校这类残障人士比较集中的场所，不同残疾种类的人士往往不能很好的交流，其交际范围也存在很大的限制。
技术实现思路
基于上述，提供一种能够让聋哑盲等残障人士更加接近正常人生活的智能颈戴设备。此外，还提供了所述智能颈戴设备实现各项功能的控制方法。一种智能颈戴设备，包括主机，所述主机包括音频处理模块，用于收集并处理包括环境声音的声源位置信息的环境声音信息，以及生成3D和/或AR音频数据；图像处理模块，用于收集并处理环境图像信息，以及生成包括环境声音的声源位置信息的显示数据；所述显示数据包括VR、AR、MR中至少一种或两种及两种以上的组合数据；中央处理模块，用于对各个模块的信息数据进行综合处理和控制；存储模块，存储由所述中央处理模块执行的计算机程序。在其中一个实施例中，所述图像处理模块设置有前置图像采集单元或外接有环境图像采集设备；所述环境图像采集设备包括前置环境图像采集设备；所述前置图像采集单元，以及所述前置环境图像采集设备用于采集用户前方的环境图像信息。在其中一个实施例中，所述图像处理模块还设置有后置图像采集单元；所述环境图像采集设备还包括后置环境图像采集设备；所述后置图像采集单元，以及所述后置环境图像采集设备用于采集用户背后的环境图像信息。如此设置，能够使用户看到身后的环境图像，从而防止危险。例如，可以帮助耳聋人士看到背后的情况以避免耳聋人士无法听到背后声音而产生的危险。此外，前置图像采集单元或前置环境图像采集设备，与后置图像采集单元或后置环境图像采集设备能够使用户获得整个前后视野。因而可以实现戴着VR眼镜行走。在其中一个实施例中，所述图像处理模块还外接有AR眼镜，和/或VR眼镜，和/或MR眼镜；所述AR眼镜，和/或所述VR眼镜，和/或所述MR眼镜的眼镜架上设置有至少一个所述前置环境图像采集设备。如此设置，够使用户获得整个前后视野，减少行走途中的危险。例如，当耳聋人士在使用VR眼镜时，VR眼镜设置的前置环境图像采集设备和智能颈戴设备设置的后置图像采集单元或后置环境图像采集设备能够使耳聋人士获得整个前后视野，从而避免耳聋人士因不能辨别声音方位或看不到背后情况而发生危险。此外，由于能够获得整个前后视野，因而本方案还能够实现使用户戴着VR眼镜行走。在其中一个实施例中，所述后置图像采集单元和/或前置图像采集单元为摄像头、红外成像单元或超声波成像单元中的一种或两种及两种以上的组合；后置环境图像采集设备和/或前置环境图像采集设备为摄像头、红外成像设备或超声波成像设备中的一种或两种及两种以上的组合；其中，所述摄像头为被动光线摄像头或主动光线摄像头；所述红外成像单元为被动红外成像单元或主动红外成像单元；所述超声波成像单元为主动超声波成像单元或被动超声波成像单元；所述红外成像设备为被动红外成像设备或主动红外成像设备；所述超声波成像设备为主动超声波成像设备或被动超声波成像设备。在其中一个实施例中，所述图像处理模块还用于识别并获取手语或手势信息；所述音频处理模块还用于将所述图像处理模块获取的所述手语或所述手势信息转化成音频数据。在其中一个实施例中，所述图像处理模块还用于将所述环境图像信息转化成用于通过导盲设备输出的导盲数据。在其中一个实施例中，所述图像处理模块还用于获取所述环境图像信息中的颜色信息，以及将所述颜色信息转化成VR显示数据和/或AR显示数据。在其中一个实施例中，还包括盲文数据传输模块；所述盲文数据传输模块用于将获取的第一信息数据转化成第二信息数据，和/或将获取的第二信息数据转化成第一信息数据；所述第一信息数据包括语音信息数据，和/或手语信息数据，和/或文字信息数据，和/或图像信息数据；所述第二信息数据为盲文数据；所述文字信息数据包括盲文数据；所述盲文数据包括布莱尔盲文数据。在其中一个实施例中，所述盲文数据传输模块包括盲文触点输出单元；所述盲文触点输出单元与人体接触；所述盲文触点输出单元用于输出所述盲文数据。在其中一个实施例中，还包括内外传输数据处理模块、生物信息处理模块、网络数据模块、电子脉冲驱动模块、以及人工智能处理模块中的任意一个模块或两个以及两个以上模块；所述内外传输数据处理模块用于转换所述主机与外接数据源之间传输数据的格式；所述生物信息处理模块用于将人体生物特征信息转换成数字信号；所述网络数据模块用于与网络连接，上传和下载信息数据；所述电子脉冲驱动模块用于将电子脉冲控制信号转换成电子脉冲电流信号；所述人工智能处理模块用于将用户的行为信息转化为数字信息并储存，以辅助用户对行为信息的记忆；所述人工智能处理模块分别与所述存储模块和所述中央处理模块连接；所述行为信息包括主体行为信息和客体行为信息。上述智能颈戴设备，通过在所述主机内设置用于收集并处理包括环境声音的声源位置信息的环境声音信息，以及生成3D和/或AR音频数据的音频处理模块。用于收集并处理环境图像信息，以及生成包括环境声音的声源位置信息的VR、AR、MR中至少一种显示数据的图像处理模块。从而通过收集包含有环境声音的声源位置信息的环境声音信息，并在VR、AR、或MR显示中标记环境中声音的声源位置，实现让耳聋人士通过VR，或AR，或MR显示的画面确定声音的来源，提高其在复杂环境中的适应能力。通过接收更多的环境信息刺激，还能够进一步促进其智力的提升。根据上述智能颈戴设备，本公开还提供了如下几种智能颈戴设备的控制方法。一种智能颈戴设备的控制方法，所述方法包括：获取环境图像信息和同一时刻相应的环境声音信息；所述环境声音信息包括环境声音的声源位置信息；将所述环境图像信息和所述环境声音的声源位置信息转化成VR、AR、MR中至少一种或两种及两种以上的显示数据。上述方法通过收集包含有环境声音的声源位置信息的环境声音信息，并在VR、AR、或MR显示中标记环境中声音的声源位置，能够实现让耳聋人士通过VR，或AR，或MR显示的画面确定声音的来源，提高其在复杂环境中的适应能力。一种智能颈戴设备的控制方法，所述方法包括：识别并获取文字信息、本文档来自技高网...

【技术保护点】
1.一种智能颈戴设备，包括主机，其特征在于，所述主机包括：音频处理模块，用于收集并处理包括环境声音的声源位置信息的环境声音信息，以及生成3D和/或AR音频数据；图像处理模块，用于收集并处理环境图像信息，以及生成包括环境声音的声源位置信息的显示数据；所述显示数据包括VR、AR、MR中至少一种或两种及两种以上的组合数据；中央处理模块，用于对各个模块的信息数据进行综合处理和控制；存储模块，存储由所述中央处理模块执行的计算机程序。

【技术特征摘要】
2018.01.19 CN 20181005574221.一种智能颈戴设备，包括主机，其特征在于，所述主机包括：音频处理模块，用于收集并处理包括环境声音的声源位置信息的环境声音信息，以及生成3D和/或AR音频数据；图像处理模块，用于收集并处理环境图像信息，以及生成包括环境声音的声源位置信息的显示数据；所述显示数据包括VR、AR、MR中至少一种或两种及两种以上的组合数据；中央处理模块，用于对各个模块的信息数据进行综合处理和控制；存储模块，存储由所述中央处理模块执行的计算机程序。2.根据权利要求1所述的智能颈戴设备，其特征在于，所述图像处理模块设置有前置图像采集单元或外接有环境图像采集设备；所述环境图像采集设备包括前置环境图像采集设备；所述前置图像采集单元，以及所述前置环境图像采集设备用于采集用户前方的环境图像信息。3.根据权利要求2所述的智能颈戴设备，其特征在于，所述图像处理模块还设置有后置图像采集单元；所述环境图像采集设备还包括后置环境图像采集设备；所述后置图像采集单元，以及所述后置环境图像采集设备用于采集用户背后的环境图像信息。4.根据权利要求2或3所述的智能颈戴设备，其特征在于，所述图像处理模块还外接有AR眼镜，和/或VR眼镜，和/或MR眼镜；所述AR眼镜，和/或所述VR眼镜，和/或所述MR眼镜的眼镜架上设置有至少一个所述前置环境图像采集设备。5.根据权利要求3所述的智能颈戴设备，其特征在于，所述后置图像采集单元和/或前置图像采集单元为摄像头、红外成像单元或超声波成像单元中的一种或两种及两种以上的组合；后置环境图像采集设备和/或前置环境图像采集设备为摄像头、红外成像设备或超声波成像设备中的一种或两种及两种以上的组合；其中，所述摄像头为被动光线摄像头或主动光线摄像头；所述红外成像单元为被动红外成像单元或主动红外成像单元；所述超声波成像单元为主动超声波成像单元或被动超声波成像单元；所述红外成像设备为被动红外成像设备或主动红外成像设备；所述超声波成像设备为主动超声波成像设备或被动超声波成像设备。6.根据权利要求1所述的智能颈戴设备，其特征在于，所述图像处理模块还用于识别并获取手语或手势信息；所述音频处理模块还用于将所述图像处理模块获取的所述手语或所述手势信息转化成音频数据。或者，其特征在于，所述图像处理模块还用于将所述环境图像信息转化成用于通过导盲设备输出的导盲数据。或者，其特征在于，所述图像处理模块还用于获取所述环境图像信息中的颜色信息，以及将所述颜色信息转化成VR显示数据和/或AR显示数据。7.根据权利要求1-6任何一项所述的智能颈戴设备，其特征在于，还包括盲文数据传输模块；所述盲文数据传输模块用于将获取的第一信息数据转化成第二信息数据，和/或将获取的第二信息数据转化成第一信息数据；所述第一信息数据包括语音信息数据，和/或手语信息数据，和/或文字信息数据，和/或图像信息数据；所述第二信...

【专利技术属性】
技术研发人员：郭磊，
申请(专利权)人：郭磊，
类型：发明
国别省市：广东,44