基于图像亮度信息纹理力再现交互系统及实现方法技术方案

本发明专利技术公开了基于图像亮度信息纹理力再现交互系统及实现方法，结合计算机图像处理技术、虚拟现实技术与虚拟现实人机交互技术，通过将捕捉到的图像信息用优化算法进行亮度信息提取预处理，在虚拟接触点产生相应纹理的接触力，再将得到的相应纹理信息通过PHANTOM OMNI力触觉交互系统反馈给操作者，使得操作者真实的感知物体表面纹理物理属性，从而达到重构物体表面三维纹理信息的目的。和以往常用的虚拟力仿真系统相比，该系统以3DS Max 2015、VC++2016和OpenGL软件编程为基础，模型的获取和修改方便，通过结合图像预处理优化算法，极大的减少了仿真过程中的严重抖动现象，提高了纹理再现的效率和使用者的真实感体验。

Texture force reproduction interactive system based on image brightness information and implementing method

The present invention discloses the brightness of the image texture information of force feedback interactive system and realization method based on the combination of computer image processing technology, virtual reality technology and virtual reality interactive technology, image information will be captured by the brightness information extraction pretreatment with optimization algorithm, the contact force to produce the corresponding texture in the virtual contact points of the corresponding texture the information will be feedback to the operator through the haptic interaction system PHANTOM OMNI force, the operator real perception of object surface texture physical properties, so as to achieve the purpose of reconstruction of 3D surface texture information. Compared with the usual virtual force simulation system, which is based on the 3DS Max 2015, VC++2016 and OpenGL software programming, easy to access and modify the model, by combining the image preprocessing algorithm, which greatly reduces the severe wobble phenomenon in the simulation process, the real sense of efficiency and users of high texture representation the experience.

【技术实现步骤摘要】
基于图像亮度信息纹理力再现交互系统及实现方法
本专利技术涉及一种支持力触觉反馈的纹理力再现交互系统及实现方法，尤其是一种基于图像亮度信息纹理力再现方法下的纹理力人机交互系统。属于计算机图像处理、虚拟现实技术与虚拟现实人机交互领域。
技术介绍
纹理是物体表面的微观几何形状、粗糙度等特性的综合描述。现实中，我们通过触觉直接感知物体的纹理信息，判断物体的一系列材质特点。随着虚拟现实技术在力触觉传感领域的广泛应用，以及一系列虚拟环境构造、虚拟物体仿真的实现，使得通过仪器捕捉现实物体的特点再通过力触觉交互系统将其输出得以实现。例如吴等人通过仪器实际测量纹理力再通过电压输出实现了力触觉的再现。这一领域技术的实现，也使得人们可以远程地对物体从外形到触觉多方位感知了解。对如今的远程购物体验、老建筑物纹理再现修复等方面都有一定的现实意义。随着计算机视觉、图像处理技术的发展,如今可以通过对物体图像的预处理得到物体图像灰度值，进一步分离近似得到图像中呈现的物体纹理信息，从而使得物体的纹理信息的提取变得更容易。本专利技术涉及一种支持力触觉反馈的纹理力再现交互系统及实现方法，尤其是一种基于图像亮度信息纹理力再现方法下的纹理力人机交互系统。通过将捕捉到的图像信息加以处理，在虚拟接触点产生相应纹理的接触力，再将得到的相应纹理信息通过PHANTOMOMNI力触觉交互设备反馈给操作者，可以使得操作者真实的感知物体表面纹理物理属性，从而达到重构物体表面三维纹理信息的目的。
技术实现思路
专利技术目的：本专利技术专利通过优化算法以及对纹理接触力合理建模，结合对图像信息进行预处理技术，建立力触觉反馈的纹理力再现交互系统，系统模块通过图片预处理，位置检测，碰撞检测，力交互反馈等模块，结合PHANTOMOMNI力触觉交互设备将得到的相应纹理信息通过力触觉再现设备反馈给操作者，使得操作者真实地感知物体表面纹理物理属性，从而达到重构物体表面三维纹理信息的目的。技术方案如下：计算机主机(2)和力触觉交互设备(3)，在计算机主机(2)上连接有显示器(1)，所述计算机主机(2)至少包括硬盘(9)和1394b卡(8)，所述硬盘(9)至少包括：图片预处理模块(93)、用于检测虚拟代理位置的位置检测模块(96)、用于检测虚拟代理与虚拟物体是否发生碰撞的碰撞检测模块(92)、纹理力计算模块(91)、图像刷新模块(93)及力触觉信息反馈模块(95)，所述硬盘(9)通过1394b卡(8)及1394连接线与力触觉交互设备(3)连接，用于将纹理力计算模块(91)计算得到的纹理力信息通过力触觉信息反馈模块(95)传输至力触觉交互设备(3)并输出。所述图片预处理模块(93)通过以下方式将图片亮度信息提取并转换计算出虚拟物体高度值：(1)导入物体表面二维纹理图片，假设该二维纹理图片大小为m×n个像素，即图像横向像素个数为m，纵向像素个数为n；利用下述公式红绿蓝过滤器得到的亮度值将图像处理出红、绿、蓝三个分量R、G、B：其中，λ表示波长，E(λ)表示输入过滤器的光或者射线，SR、SG、SB是三个颜色过滤器；将RGB空间进行如下线性变换得到原图像亮度信息V：V＝0.299R+0.587G+0.114B其中0＜R＜1,0<G<1,0<B＜1(2)运用去噪声高斯滤波器进行滤波去噪，噪声在图像处理中被看成一个高频信号,图像去噪可由下面的线性卷积实现:其中，I、Ω、V(η,ξ)分别表示：去噪后的图像像素块顶点亮度信息值、整个图像平面、原图像亮度信息；H(x1,y1)为高斯滤波算子，其表达式为：其中选定的参数σ表征高斯滤波宽度，决定图片处理平滑程度；高斯滤波能有效地滤除掉图像中的细小噪点和边缘形状上细小的曲折,这种与多通道处理相结合的滤波方法更能有效地提高彩色图像的信噪比；(3)通过均值法对每个像素块周围区域的亮度值求区域平均值，近似估算该像素块顶点的亮度值：以像素块D0,0为例：其中，Is,t表示去噪后的图像各个像素块顶点亮度信息值，(s,t)表示像素块顶点位置坐标，s∈{0,1,2,3,…m}，t∈{0,1,2,3,…n}，Di,j表示各个像素块亮度值，(i,j)表示各像素块位置坐标，i∈{0,1,2,3,…m-1}，j∈{0,1,2,3,…n-1}；(4)对各个像素块求得的亮度信息进行规范化处理，得到整体图像物体纹理的表面高度Qm×n，其计算公式如下：其中Di,j表示各个像素块亮度值，di,j表示处理后各个像素块物体纹理的表面高度，i∈{0,1,2,3,…m-1}，j∈{0,1,2,3,…n-1}，为整体图像所有像素块亮度值的平均值；通过均值法和规范化处理，在得到像素块有限纹理信息的同时，减少力触觉交互系统在数据力重现过程中可能出现的严重抖动现象，更真实有效的实现纹理再现；(5)将图像输出的位置坐标：PX,PY,PZ转化为虚拟环境下的坐标MX,MY,MZ，具体坐标转换公式如下：通过位置检测模块(96)检测虚拟代理位置、碰撞检测模块(92)检测虚拟代理与虚拟物体是否发生碰撞的，当虚拟探针没有触碰到虚拟物体纹理时，输出力为0；当发生触碰，则纹理力计算模块(91)计算纹理力大小，具体步骤如下：假设预处理后虚拟物体的纹理图片位于虚拟空间坐标OXYZ中的OXY平面，即Z＝0，且位置左右上下对齐，假设虚拟碰撞点在虚拟环境的坐标为(X,Y,Z),得到碰撞点在OXY平面投影点为(X,Y),此处(X,Y)为像素块图片位置坐标(i,j)对应到OXY平面的位置坐标，X∈{0,1,2,3,…m-1}，Y∈{0,1,2,3,…n-1}；基于以上图片预处理，得到的每个像素块所对应的纹理表面物理高度值，即投影点所对应的物体表面纹理高度值为dX,Y,则在碰撞点的输出纹理接触力计算方法如下：假设物体表面为刚性，则纹理接触力由法向力和切向摩擦力合成，法向力的计算方法如下：dX,Y为接触点像素块物体表面纹理高度值，k为物体表面的刚性系数；当dX,Y为正，这表明物体表面在接触点出处是凸起，如果为负，则意味着物体表面在接触点处是凹下的；切向摩擦力遵循动摩擦力产生公式：切向摩擦力的方向与OXY平面平行，并与运动方向相反；其中μ(X,Y)位虚拟物体在接触点处的动摩擦因数；μ(X,Y)＝ρ×r(X,Y)其中，ρ是纹理表面材料的粗糙系数，r(X,Y)为接触点的局部粗糙系数，与该接触点的局部凹凸程度有关；计算纹理接触力后，硬盘(9)通过1394b卡(8)及1394连接线与力触觉交互设备(3)连接，将纹理力计算模块(91)计算得到的纹理力通过力触觉信息反馈模块(95)传输至力触觉交互设备(3)并输出到操作者处。力触觉交互设备(3)采用PHANTOMOMNI力触觉交互设备(3)，所述PHANTOMOMNI力触觉交互设备(3)通过APS开关电源(5)供电，通过APS开关电源之后，将供电电源(4)220V的交流电转化为18V，2.22A所需的电压，显示卡(6)、1394b卡(8)、硬盘(9)均通过总线(7)实现双向传输，显示器(1)通过VGA连接线与显示卡(6)连接。为验证本专利技术的实施效果，操作者通过PHANTOMOMNI手控器端部的手柄来触摸，从而使得操作者真实地感知物体表面纹理物理属性，从而达到重构物体表面三维纹理信息的目的。本文档来自技高网...

【技术保护点】
基于图像亮度信息纹理力再现交互系统，其特征在于，包括计算机主机(2)和力触觉交互设备(3)，在计算机主机(2)上连接有显示器(1)，所述计算机主机(2)至少包括硬盘(9)和1394b卡(8)；所述硬盘(9)包括：图片预处理模块(93)、用于检测虚拟代理位置的位置检测模块(96)、用于检测虚拟代理与虚拟物体是否发生碰撞的碰撞检测模块(92)、纹理力计算模块(91)、图像刷新模块(94)及力触觉信息反馈模块(95)，所述硬盘(9)通过1394b卡(8)及1394连接线与力触觉交互设备(3)连接，用于将纹理力计算模块(91)计算得到的纹理力信息通过力触觉信息反馈模块(95)传输至力触觉交互设备(3)并输出；力触觉交互设备(3)采用PHANTOM OMNI力触觉交互设备，通过APS开关电源(5)供电，通过APS开关电源之后，将供电电源(4)220V的交流电转化为18V，2.22A所需的电压，显示卡(6)、1394b卡(8)、硬盘(9)均通过总线(7)实现双向传输，显示器(1)通过VGA连接线与显示卡(6)连接。

【技术特征摘要】
1.基于图像亮度信息纹理力再现交互系统，其特征在于，包括计算机主机(2)和力触觉交互设备(3)，在计算机主机(2)上连接有显示器(1)，所述计算机主机(2)至少包括硬盘(9)和1394b卡(8)；所述硬盘(9)包括：图片预处理模块(93)、用于检测虚拟代理位置的位置检测模块(96)、用于检测虚拟代理与虚拟物体是否发生碰撞的碰撞检测模块(92)、纹理力计算模块(91)、图像刷新模块(94)及力触觉信息反馈模块(95)，所述硬盘(9)通过1394b卡(8)及1394连接线与力触觉交互设备(3)连接，用于将纹理力计算模块(91)计算得到的纹理力信息通过力触觉信息反馈模块(95)传输至力触觉交互设备(3)并输出；力触觉交互设备(3)采用PHANTOMOMNI力触觉交互设备，通过APS开关电源(5)供电，通过APS开关电源之后，将供电电源(4)220V的交流电转化为18V，2.22A所需的电压，显示卡(6)、1394b卡(8)、硬盘(9)均通过总线(7)实现双向传输，显示器(1)通过VGA连接线与显示卡(6)连接。2.如权利要求1所述系统的实现方法，其特征在于，所述图片预处理模块(93)通过以下方式将图片亮度信息提取并转换计算出虚拟物体高度值：(1)导入物体表面二维纹理图片，假设该二维纹理图片大小为m×n个像素，即图像横向像素个数为m，纵向像素个数为n；利用下述公式红绿蓝过滤器得到的亮度值将图像处理出红、绿、蓝三个分量R、G、B：其中，λ表示波长，E(λ)表示输入过滤器的光或者射线，SR、SG、SB是三个颜色过滤器；将RGB空间进行如下线性变换得到原图像亮度信息V：V＝0.299R+0.587G+0.114B其中0＜R＜1,0<G<1,0<B＜1(2)运用去噪声高斯滤波器进行滤波去噪，噪声在图像处理中被看成一个高频信号,图像去噪可由下面的线性卷积实现:其中，I、Ω、V(η,ξ)分别表示：去噪后的图像像素块顶点亮度信息值、整个图像平面、原图像亮度信息；H(x1,y1)为高斯滤波算子，其表达式为：其中选定的参数σ表征高斯滤波宽度，决定图片处理平滑程度；高斯滤波能有效地滤除掉图像中的细小噪点和边缘形状上细小的曲折,这种与多通道处理相结合的滤波方法更能有效地提高彩色图像的信噪比；(3)通过均值法对每个像素块周围区域的亮度值求区域平均值，近似估算该像素块顶点的亮度值：以像素块D0,0为例：其中，Is,t表示去噪后的图像各个像素块顶点亮度信息值，(s,t)表示像素块顶点位置坐标，s∈{0,1,2,3,…m}，t∈{0,1,2,3,…n}，Di,j表示各个像素块亮度值，(i,j)表示各像素块位...

【专利技术属性】
技术研发人员：张小瑞，赵喆，孙伟，朱利丰，刘佳，宋爱国，舒雅，
申请(专利权)人：南京信息工程大学，
类型：发明
国别省市：江苏,32