一种融合触觉感知功能的视频聊天方法和终端技术

本发明专利技术涉及一种融合触觉感知功能的视频聊天方法和终端，属于人机交互领域。包括核心处理器，位置检测装置、视频显示屏幕、触觉再现面板、触觉激励信号生成器、视频采集卡、摄像头和网络传输设备，终端一与终端二通过网络传输设备建立数据连接，终端一采集终端一用户的视频数据，并将其转发至终端二，终端二接收终端一转发的视频数据，对视频数据进行实时处理，提取其触觉特征信息，并控制触觉激励信号生成器产生相应的触觉激励信号，加载到触觉再现面板，终端二用户可以通过视频显示屏幕观看终端一用户的视频信息，同时也可以通过手指触摸感知终端一用户的触觉特征信息，丰富用户视频聊天交互的体验，采用的计算方法复杂度低，处理周期短，满足系统的实时性要求。

【技术实现步骤摘要】
一种融合触觉感知功能的视频聊天方法和终端
本专利技术涉及人机交互领域，具体涉及一种融合触觉感知功能的视频聊天终端和方法。
技术介绍
视频聊天技术改变了传统网络通讯的质量和形式，使交流不再只是局限于普通语言文字，利用视频让天各一方的人们能够彼此相见。但是视频聊天技术仅能传递视频和音频信息，不能传递触觉信息，交流的双方“可看而不可摸”，降低了交流的真实性。将触觉再现技术与多媒体技术相结合，开发不仅能够传递视频、音频等信息，还能够传递触觉信息的产品，可以丰富人们交流的体验，是人机交互领域发展的重要方向。
技术实现思路
本专利技术提供一种融合触觉感知功能的视频聊天终端和方法，以解决视频聊天中只能观看视频，不能同时进行触觉感知的问题。本专利技术一种融合触觉感知功能的视频聊天终端，包括：核心处理器，通过数据接口连接各个设备，控制采集、发送、接收和显示视频数据，并对接收的视频数据进行处理，提取其触觉特征信息，接收手指位置信息，控制触觉激励信号生成器产生相应的触觉信号；位置检测装置，采用光学定位装置，用于获取手指触摸面板的位置坐标，通过USB接口传送给核心处理器；视频显示屏幕，通过VGA接口连接到核心处理器，用于显示视频数据。触觉再现面板，触觉再现面板分为三层，由上至下依次为透明绝缘层，透明导电极板、透明玻璃板，透明导电极板和触觉激励信号生成器连接，向透明导电极板上加载变化的激励信号，手指可以在触觉再现面板上感受不同的触觉刺激；触觉激励信号生成器，通过UATR接口连接到核心处理器，接收核心处理器发送的指令信息，生成相应的触觉激励信号，加载至触觉再现面板；视频采集卡，通过USB接口连接到核心处理器，接收处理器的指令信息，用于配置摄像头采集视频的格式和参数，并将视频数据传输给核心处理器；摄像头，用于采集用户的视频数据；网络传输设备，通过PCI接口连接到核心处理器，用于转发和接收视频数据。本专利技术一种实施方式是所述位置检测装置、视频显示屏幕和触觉再现面板在空间上的分布为：从上到下依次为位置检测装置、触觉再现面板、视频显示屏幕，且位置检测装置采用边框定位，手指可直接触摸到触觉再现面板，触觉再现面板为透明的结构，人眼可直接观看视频显示屏幕，不受遮挡。本专利技术一种实施方式是所述触觉激励信号生成器，其特征在于：包括通讯接口、信号发生器、功率放大器和安全电路，信号发生器通过通讯接口接收核心处理器发送的指令信息，根据指令信息生成相应的激励信号，通过功率放大器放大后由输出接口加载至触觉再现面板，安全电路用来限制过载的电压或电流，保证人体安全。本专利技术一种实施方式是所述安全电路包括过压保护电路、限流保护电路：所述的过压保护电路包括电熔丝F、稳压管Vz、电阻R1和受控二极管T，所述的输入信号端正极、电熔丝F、稳压管Vz、电阻R1、输入信号端负极依次串联连接组成回路，受控二极管T并联连接到稳压管Vz和电阻R1形成支路的两端，稳压管Vz和电阻R1的公共端连接到受控二极管T的受控端；所述的限流保护电路包括电阻R2、电阻R3、电阻R4、电阻R5、三极管P1、和场效应管P2，所述的输出信号端正极、电阻R2、电阻R3、输出信号端负极依次串联连接组成回路，所述的电阻R4、三极管P1所形成支路并联连接在电阻R2和电阻R3所形成支路两端，电阻R2和电阻R3的公共端连接到三极管P1的基极端，所述的场效应管P2和电阻R5串联连接所形成的支路并联连接到所述的电阻R4和三极管P1串联连接所形成支路的两端，电阻R4和三极管P1的公共端连接到场效应管P2源极端；所述的限流保护电路的电阻R2和电阻R3所形成支路并联连接到受控二极管T的两端。一种融合触觉感知功能的视频聊天方法，其特征在于包括下列步骤：1)终端一与终端二建立数据连接；2)终端一采集终端一用户的视频数据，将视频数据转发至终端二；3)终端二获取终端一转发的视频数据，并对其进行实时处理，提取视频中的触觉特征信息，具体处理算法如下：第一步，对视频数据的处理主要是对视频帧的处理，假设该视频中某一视频帧Pi×j，该视频帧大小为i×j个像素，i为视频帧像素行数，j为视频帧像素列数：采用加权平均法对视频帧Pi×j进行灰度化，得到每个像素点的灰度值hm,n，计算公式为：hm,n＝0.30×Rm,n+0.59×Gm,n+0.11×Bm,n其中Rm,n、Gm,n和Bm,n为像素点Pm,n的红、绿、蓝三个颜色分量，m，n是该像素点的坐标值，m∈{0,1,...,i-1}，n∈{0,1,...,j-1}得到灰度视频帧Hi×j：第二步，对灰度视频帧Hi×j进行梯度化处理，采用后向差分算法：梯度定义为：梯度的模值为：最后，得到梯度模值视频帧Fi×j：将视频帧的灰度值和梯度值相加，得到梯度增强视频帧Ei×j：计算公式为：em,n＝hm,n+fm,n将梯度增强视频帧Ei×j进行归一化，得到包含视频帧的触觉特征信息归一化梯度增强视频帧Si×j：计算公式为：4)终端二为终端二用户在视频显示屏幕上显示某一原始视频帧Pi×j的视频信息，获取终端二用户手指触摸的位置坐标(Px,Py)，通过空间变换矩阵H将位置坐标(Px,Py)转换为该视频帧的像素点坐标(m,n)，并调取该点像素值sm,n，根据激励信号幅度变化的范围，计算该像素点下的触觉激励信号幅度值V(t)，使用户二用户的手指可以感知该像素点相应的触觉力刺激Fe，通过手指移动触摸，可感知其他像素点对应的触觉力刺激，实现融合触觉感知功能的视频聊天，计算公式为：V(t)＝(Vmax-Vmin)×sm,n其中，Vmax是触觉激励信号生成器能够产生的最大幅度值，Vmin是触觉激励信号生成器能够产生的最小，幅度值ε0为真空绝对介电常数，A为手指与导电极板接触面积，α为人体手指角质层介电常数。对于视频数据的实时处理，采用视频帧缓冲机制，当前视频帧N进行视频显示，与该视频帧N对应的触觉信息N也进行触觉激励，同时，预先处理视频帧N+1，获取该视频帧N+1的触觉信息，进行存储，加快实时视频处理的效率。本专利技术具有以下的优点：1、本专利技术提出的一种融合触觉感知功能的视频聊天终端和方法，可以使远程用户在视频聊天的过程中通过触觉感知对方的触觉特征信息，实现远程用户的触觉交互，丰富用户视频聊天的体验。2、本专利技术所采用的触觉再现装置基于静电力原理，装置结构简单，体积小，便于与数字移动设备有机结合，且可生成多种类型触觉激励信号，可以产生丰富的触觉感知体验。3、本专利技术提出的用于提取目标对象触觉特征的视频处理算法，采用视频帧处理的方式，对每帧视频进行梯度化处理，并与原视频帧融合叠加，突出视频帧中目标对象的触觉特征点，用于实现对目标对象触觉特征进行再现，该算法计算复杂度低，处理周期短，满足系统的实时性要求。附图说明图1是本专利技术一种融合触觉感知功能的视频聊天过程的示意图；图2是本专利技术一种融合触觉感知功能的视频聊天的终端设备100的整体框图；图3是本专利技术终端设备位置检测装置、视频显示屏幕和触觉再现面板结构图；图4是本专利技术终端设备的触觉再现面板的结构示意图；图5是本专利技术终端设备的触觉激励信号生成器的原理框图；图6是本专利技术终端设备触觉再现原理的示意图；图7是本专利技术一种融合触觉感知功能的视频聊天方法的整体流程图；图8是本专利技术一种融合触觉感知功能的视频聊天方法本文档来自技高网...

【技术保护点】
一种融合触觉感知功能的视频聊天终端，其特征在于包括：核心处理器，通过数据接口连接各个设备，控制采集、发送、接收和显示视频数据，并对接收的视频数据进行处理，提取其触觉特征信息，接收手指位置信息，控制触觉激励信号生成器产生相应的触觉信号；位置检测装置，采用光学定位装置，用于获取手指触摸面板的位置坐标，通过USB接口传送给核心处理器；视频显示屏幕，通过VGA接口连接到核心处理器，用于显示视频数据；触觉再现面板，触觉再现面板分为三层，由上至下依次为透明绝缘层，透明导电极板、透明玻璃板，透明导电极板和触觉激励信号生成器连接，向透明导电极板上加载变化的激励信号，手指可以在触觉再现面板上感受不同的触觉刺激；触觉激励信号生成器，通过UATR接口连接到核心处理器，接收核心处理器发送的指令信息，生成相应的触觉激励信号，加载至触觉再现面板；视频采集卡，通过USB接口连接到核心处理器，接收处理器的指令信息，用于配置摄像头采集视频的格式和参数，并将视频数据传输给核心处理器；摄像头，用于采集用户的视频数据；网络传输设备，通过PCI接口连接到核心处理器，用于转发和接收视频数据。

【技术特征摘要】
1.一种融合触觉感知功能的视频聊天终端，其特征在于包括：核心处理器，通过数据接口连接各个设备，控制采集、发送、接收和显示视频数据，并对接收的视频数据进行处理，提取其触觉特征信息，接收手指位置信息，控制触觉激励信号生成器产生相应的触觉信号；位置检测装置，采用光学定位装置，用于获取手指触摸面板的位置坐标，通过USB接口传送给核心处理器；视频显示屏幕，通过VGA接口连接到核心处理器，用于显示视频数据；触觉再现面板，触觉再现面板分为三层，由上至下依次为透明绝缘层，透明导电极板、透明玻璃板，透明导电极板和触觉激励信号生成器连接，向透明导电极板上加载变化的激励信号，手指可以在触觉再现面板上感受不同的触觉刺激；触觉激励信号生成器，通过UATR接口连接到核心处理器，接收核心处理器发送的指令信息，生成相应的触觉激励信号，加载至触觉再现面板；视频采集卡，通过USB接口连接到核心处理器，接收处理器的指令信息，用于配置摄像头采集视频的格式和参数，并将视频数据传输给核心处理器；摄像头，用于采集用户的视频数据；网络传输设备，通过PCI接口连接到核心处理器，用于转发和接收视频数据。2.根据权利要求1所述的一种融合触觉感知功能的视频聊天终端，其特征在于：所述位置检测装置、视频显示屏幕和触觉再现面板在空间上的分布为：从上到下依次为位置检测装置、触觉再现面板、视频显示屏幕，且位置检测装置采用边框定位，手指可直接触摸到触觉再现面板，触觉再现面板为透明的结构，人眼可直接观看视频显示屏幕，不受遮挡。3.根据权利要求1所述的一种融合触觉感知功能的视频聊天终端，其特征在于：触觉激励信号生成器包括通讯接口、信号发生器、功率放大器和安全电路，信号发生器通过通讯接口接收核心处理器发送的指令信息，根据指令信息生成相应的激励信号，通过功率放大器放大后由输出接口加载至触觉再现面板，安全电路用来限制过载的电压或电流。4.根据权利要求3所述的一种融合触觉感知功能的视频聊天终端，其特征在于：触觉激励信号生成器的安全电路包括过压保护电路、限流保护电路：所述的过压保护电路包括电熔丝F、稳压管Vz、电阻R1和受控二极管T，输入信号端正极、电熔丝F、稳压管Vz、电阻R1、输入信号端负极依次串联连接组成回路，受控二极管T并联连接到稳压管Vz和电阻R1形成支路的两端，稳压管Vz和电阻R1的公共端连接到受控二极管T的受控端；所述的限流保护电路包括电阻R2、电阻R3、电阻R4、电阻R5、三极管P1、和场效应管P2，输出信号端正极、电阻R2、电阻R3、输出信号端负极依次串联连接组成回路，所述的电阻R4、三极管P1所形成支路并联连接在电阻R2和电阻R3所形成支路两端，电阻R2和电阻R3的公共端连接到三极管P1的基极端，所述的场效应管P2和电阻R5串联连接所形成的支路并联连接到所述的电阻R4和三极管P1串联连接所形成支路的两端，电阻R4和三极管...

【专利技术属性】
技术研发人员：孙晓颖，吴赛文，王庆龙，董杨瑞，王婷婷，龙慧，陈建，
申请(专利权)人：吉林大学，
类型：发明
国别省市：吉林;22