【技术实现步骤摘要】
本专利技术涉及人机交互，更具体地，涉及一种基于感觉增强的信息交互系统及方法。
技术介绍
1、传统的信息交互方式，一般通过视觉、听觉等方式实现。而对于盲人、弱视者、聋哑人、儿童青少年等人群在无法获取完整的视听觉交互信息时，多通过触摸的方式进行信息交互。在基于触摸方式的信息交互中，通常是通过盲文、图像等媒介表面的立体结构或粗糙程度来反应相关信息，或者通过媒介反馈的振动来表达相关信息。然而，以媒介表面的立体结构、粗糙程度，或者媒介反馈的振动效果，无法让使用者高效准确地进行信息交互，特别是视听觉功能不完善的使用者无法准确获取或反馈媒介所展现的信息。
2、随着云计算、大数据、人工智能等技术的发展，基于虚拟现实、增强现实等技术的触摸交互可以为使用者提供更好的信息交互体验。例如，专利申请cn201910395324.2提供一种信息发送方法、存储介质及电子设备。所述方法包括：当获取第一操作信号时，根据所述第一操作信号确定目标触摸电极；通过所述目标触摸电极依次输出至少两种预设电刺激信号，每一种所述预设电刺激信号对应一个用户；当获取第二操作信号时，根据所述第二操作信号确定当前的预设电刺激信号为目标预设电刺激信号；根据所述目标预设电刺激信号获取目标用户，并向所述目标用户发送信息；通过将不同的电刺激信号绑定不同的用户，能快速将信息发送给相应的用户，简化信息分享流程。然而，该方案中的触摸电极和电刺激信号用于反馈触觉信号，只是通过不同的电刺激信号让用户感受到不同的触摸感。
3、专利申请cn201910400250.7提供了一种触摸屏
4、专利申请cn202010301023.1公开了一种使用激光雷达将普通墙体或者地面转变成触摸屏的系统及方法，包括主机、电源、激光雷达设备和投影仪，所述主机、投影仪和激光雷达设备的接电端均通过导线与电源输出端电性连接，所述激光雷达设备的连接端通过网线与主机的连接端信号连接，所述主机的输出端通过数据线与投影仪的输入端信号连接，所述激光雷达设备的发射端发射出虚拟触摸屏。然而，该方案只是通过激光雷达来检测手势位置、手势动作等信息来反馈触摸图形内容的交互动作，无法使操作者感受到图像所反馈出的真实感觉。
5、专利申请cn201310302106.2提出了将功能性电刺激技术、运动辅具、物联网技术、多感互动游戏及人体生命体征参数有机结合的多感互动多模控制功能性电刺激系统，由功能性电刺激、生命体征参数采集、运动辅具信息采集、信息融合、基于物联网技术的多感互动游戏竞技等模块组成。然而，该方案只是通过人体生命体征参数、运动辅具参数来进行功能性电刺激的控制和多感互动游戏竞技模块的控制，不仅其电刺激与多感互动游戏之间无联系，而且其所用电刺激不涉及感觉反馈。
6、专利申请us12881376公开了一种可提供电刺激感觉反馈的触控面板模块，由触摸面板、感觉反馈面板、控制单元和刺激信号生成电路组成；其中感觉反馈面板安装在触摸面板上，并具有以矩阵配置或非重叠配置布置的多个刺激电路；刺激信号生成电路与刺激电路和控制单元相连；当控制单元接收到触摸面板产生的触摸信号时，控制单元会控制刺激信号生成电路输送刺激电流到刺激电流；当使用者触摸刺激电路时，刺激电流可流过使用者的手指以电刺激神经，从而达到感觉反馈效果，以使触控面板使用者所触控的功能被激活。然后该方案只是将刺激电路集成在触控面板中，通过电刺激手指皮肤来反馈触控状态，并且没有以触控面板中内容来反馈真实感觉的信息交互功能。
7、综上，目前基于触摸方式的信息交互，通常是通过盲文、图像等媒介表面的立体结构或粗糙程度来反应相关信息，或者通过媒介反馈的振动来表达相关信息，而对于视听觉功能受限的使用者无法准确获取或反馈媒介所展现的信息。例如，触摸图片媒介中的尖锐物体时，使用者无法真实地感受到尖锐物体带来的刺痛感；触摸视频媒介中的火苗画面时，使用者无法真实感受到火苗带来的灼烧感。
技术实现思路
1、本专利技术的目的是克服上述现有技术的缺陷，提供一种基于感觉增强的信息交互系统及方法。
2、根据本专利技术的第一方面，提供一种基于感觉增强的信息交互系统。该系统包括图像显示及反馈模块、图像内容识别与编码模块、感觉诱发模块，其中：
3、图像显示及反馈模块用于显示图像，并通过与用户之间的交互触摸获取力信号特征，进而将所述力信号特征、图像特征信号量传递至图像内容识别与编码模块，并将参考信号量传递至感觉诱发模块；
4、图像内容识别与编码模块用于：基于所述图像特征信号，利用分类模型获取图像内容信息；基于所述力信号特征利用深度学习模型，获取用户触摸图像时的接触压力信息和接触位置信息；进而根据所述图像内容信息、所述接触压力信息和所述接触位置信息生成感觉编码信息；
5、感觉诱发模块用于根据所述感觉编码信息，生成能够诱发用户大脑产生真实感受的电刺激信号，并作用于用户的刺激部位的神经束和神经末梢；
6、其中，所述图像显示及反馈模块设有图像显示层、力检测层和参考电极层，图像显示层用于显示图像内容并输出所述图像特征信号至所述图像内容识别与编码模块；力检测层用于检测用户触摸图像显示层内容时的力大小，并输出所述力信号特征至所述图像内容识别与编码模块；所述参考电极层用于将所述参考信号量传递至所述感觉诱发模块。
7、根据本专利技术的第二方面，提供一种基于感觉增强的信息交互方法。该方法包括以下步骤：
8、向用户用于显示图像，并通过与用户之间的交互触摸获取力信号特征，进而将所述力信号特征、图像特征信号量传递至图像内容识别与编码模块，并将参考信号量传递至感觉诱发模块；
9、基于所述图像特征信号，利用分类模型获取图像内容信息；基于所述力信号特征利用深度学习模型，获取用户触摸图像时的接触压力信息和接触位置信息；进而根据所述图像内容信息、所述接触压力信息和所述接触位置信息生成感觉编码信息；
10、根据所述感觉编码信息，生成能够诱发用户大脑产生真实感受的电刺激信号，并作用于用户的刺激部位的神经束和神经末梢。
11、与现有技术相比，本专利技术的优点在于，所提供的基于感觉增强的信息交互系统及方法，可以使包括盲人、弱视者、聋哑人、儿童青少年、视听觉功能正常者等人群在内的使用者在触摸图像等媒介时，通过媒介反馈的振动、灼烧、刺痛等真实感觉来增强使用者对信息的获取与反馈效果，从而以感觉增强的方式，提升使用者在信息交互过程中的高效性和准确性。
12、通过以下参照附图对本专利技术的示例性实施例的详细描述，本专利技术的本文档来自技高网...
【技术保护点】
1.一种基于感觉增强的信息交互系统，包括图像显示及反馈模块、图像内容识别与编码模块、感觉诱发模块，其中：
2.根据权利要求1所述的信息交互系统，其特征在于，所述图像特征信号包括颜色特征、形状特征、纹理特征和空间关系特征，所述力信号特征包括力峰值、力变化量和手指触摸位置。
3.根据权利要求1所述的信息交互系统，其特征在于，所述感觉诱发模块包含编码信息转换单元、刺激电流生成单元和电刺激输出单元，其中编码信息转换单元用于将所述感觉编码信息转换成电刺激控制信号；刺激电流生成单元用于根据所述电刺激控制信号生成刺激电流信号；所述电刺激输出单元用于结合所述参考信号量，以非侵入方式将所述刺激电流信号作用于用户的刺激部位的神经束和神经末梢。
4.根据权利要求1所述的信息交互系统，其特征在于，所述图像显示层是显示屏；所述力检测层设有刚性力传感器或柔性力传感器，所述刚性力传感器是电阻类型、电容类型或压电类型；所述参考电极层使用透明的导电材料制备。
5.根据权利要求1所述的信息交互系统，其特征在于，所述分类模型是卷积神经网络、深度优先搜索、广度优先搜索或D
6.根据权利要求1所述的信息交互系统，其特征在于，所述刺激部位是指通过皮肤中的感受器将所受到的刺激传递给与感受器相连接的神经纤维，从而激活神经纤维产生电活动，然后电活动沿着向上的感觉神经传输通路传至大脑，使大脑产生真实感受。
7.根据权利要求3所述的信息交互系统，其特征在于，所述编码信息转换单元生成的电刺激控制信号采用刺激特征参数进行表征，所述刺激特征参数包含波形、幅值、宽度、间隔，并且不同刺激特征参数的组合对应着诱发用户大脑生成敲打、振动、刺痛、灼烧不同真实感觉的刺激电流信号。
8.根据权利要求2所述的信息交互系统，其特征在于，该系统应用于信息交流、认知训练、教学辅导、游戏娱乐、增强现实场景。
9.一种基于权利要求1至8任一项所述的信息交互系统的感觉增强的信息交互方法，包括以下步骤：
10.一种计算机可读存储介质，其上存储有计算机程序，其中，该计算机程序被处理器执行时实现根据权利要求9所述的信息交互方法的步骤。
...【技术特征摘要】
1.一种基于感觉增强的信息交互系统，包括图像显示及反馈模块、图像内容识别与编码模块、感觉诱发模块，其中：
2.根据权利要求1所述的信息交互系统，其特征在于，所述图像特征信号包括颜色特征、形状特征、纹理特征和空间关系特征，所述力信号特征包括力峰值、力变化量和手指触摸位置。
3.根据权利要求1所述的信息交互系统，其特征在于，所述感觉诱发模块包含编码信息转换单元、刺激电流生成单元和电刺激输出单元，其中编码信息转换单元用于将所述感觉编码信息转换成电刺激控制信号；刺激电流生成单元用于根据所述电刺激控制信号生成刺激电流信号；所述电刺激输出单元用于结合所述参考信号量，以非侵入方式将所述刺激电流信号作用于用户的刺激部位的神经束和神经末梢。
4.根据权利要求1所述的信息交互系统，其特征在于，所述图像显示层是显示屏；所述力检测层设有刚性力传感器或柔性力传感器，所述刚性力传感器是电阻类型、电容类型或压电类型；所述参考电极层使用透明的导电材料制备。
5.根据权利要求1所述的信息交互系统，其特征在于，所述分类模型是卷积神经网络、深度优先搜索、广度优先搜索或dijkstra算法图像识...
【专利技术属性】
技术研发人员：方鹏，曹江浪，姜乃夫，李向新，田岚，郑悦，李光林，
申请(专利权)人：中国科学院深圳先进技术研究院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。