自适应变基线双目立体相机系统技术方案

本发明专利技术涉及一种自适应变基线双目立体相机系统，包括：第一相机、第二相机、双滑杆、服务器、客户端、PC主机、3D显示器、眼动仪、第一相机固定在双滑竿的一端，步进电机固定在双滑竿的另一端，第二相机可滑动安装在双滑杆上，双滑杆上设置有一履带，履带通过一根主动轴和一根从动轴套接在双滑杆的两端，主动轴与一步进电机的输出轴相连，第二相机固定在履带上，第一相机和第二相机均与PC主机相连，PC主机与服务器和3D显示器分别相连，服务器与客户端相连，3D显示器上加装眼动仪。本发明专利技术通过步进电机调节双目立体相机的基线长度，使得感兴趣区域实现最佳的3D视觉效果，并对重影区域进行模糊化处理，能避免人眼疲劳。

【技术实现步骤摘要】
自适应变基线双目立体相机系统
：本专利技术涉及图像处理
，具体是一种自适应变基线双目立体相机系统。
技术介绍
：随着计算机视觉的不断发展，虚拟现实技术也逾趋成熟，双目立体视觉和全景图像已成为目前手机终端虚拟现实技术和增强现实技术的主要方式，并且双目立体显示技术已成为3D电影、电视的发展主流。然而对于双目立体成像模型，目前基本上还是主要使用简单的双目定基线的数据获取方式，这种成像方式存在很大缺陷，生成的立体图像会存在较大失真，仅仅只能保证图像较少区域的较好显示效果，较大区域的立体图像在观看上会存在错位，立体效果较差，易导致人眼疲劳。由于双目立体成像在成像过程中，离成像平面距离越远的景物在双目图像之中会存在较小的视差，越近的景物的视差越小、，双目图像中的对应物体的视差随物体离双目相机的距离是不断变化的。将双目图像叠加显示时，仅仅只能保证部分的物体在3D显示时不存在重影，无法保证图像中所有的物体均能正确的显示出3D效果。通常情况下，人眼在自然观察的情况下基本上也仅仅只是对双目交汇处区域的物体表现出清晰的立体效果，而不是人眼整个视场范围内所有的物体均能显示出清晰的立体效果。所以仅仅只需要保证人眼观察所感兴趣的区域显示出好的3D显示效果，而其他区域则表现出模糊的显示效果即可。这样就能够产生较为真实的虚拟现实效果，在运用到远程机器人操控过程中能够，通过在机器人上加装双目相机，实时回传双目图像，客户端显示立体效果，远程客户端即可在虚拟现实的环境中对远端机器人进行沉浸式操控。
技术实现思路
：本专利技术为了克服现有技术中存在的上述缺陷，提供了一种自适应变基线双目立体相机系统，使拍摄的图像现实的3D效果随人眼观察目标自适应的显示出最佳的立体视觉效果。为解决上述问题，本专利技术提出的自适应变基线双目立体相机系统，包括：第一相机、第二相机、双滑杆、服务器、客户端、PC主机、3D显示器、眼动仪、所述第一相机通过一固定相机安装云台固定在所述双滑竿的一端，所述步进电机通过一电机安装架固定在所述双滑竿的另一端，所述第二相机通过一滑动相机安装云台可滑动安装在所述双滑杆上，所述双滑杆上设置有一履带，所述履带通过一根主动轴和一根从动轴套接在所述双滑杆的两端，所述主动轴与一步进电机的输出轴相连，所述第二相机固定在所述履带上，所述第一相机和第二相机均与所述PC主机相连，所述PC主机与所述服务器和3D显示器分别相连，所述服务器与所述客户端相连，所述3D显示器上加装眼动仪，所述PC主机上安装有眼动仪驱动软件。上述技术方案中，所述第一相机和第二相机的摄像头位于同一水平面上。上述技术方案中，所述步进电机与一电源相连，所述电源的输出电压为12V，输出电流为1A。上述技术方案中，所述PC主机的CPU为I3或以上，内存等于或大于2G，硬盘等于或大于256G，系统为Windows10或windows7。上述技术方案中，所述PC主机采用OpenCV及相机自带SDK读取所述第一相机和第二相机拍摄的图像。上述技术方案中，所述服务器采用boost库中的TCP网络通信接口将获取的压缩后的图像传输到客户端，所述客户端采用对应的boost库中的TCP网络通信接口接收压缩图像，并采用JPEG-turbo解码显示。上述技术方案中，所述客户端与服务器之间通信采用winsocketUDP通信，对图像的采集、压缩、传输以及步进电机的运行进行相应的远程控制。本专利技术提出的自适应变基线双目立体相机系统的工作原理如下：通过眼动仪驱动软件跟踪捕捉双目观察的兴趣点；获取眼动仪视点跟踪数据并将视点跟踪数据转换为图像上相应关注点的视差值，假设T时刻眼动仪捕捉的视点在图像上的点为pt点,则pt点的视差可根据公式(1)获得：其中，be、fe表示两只眼睛的距离和眼睛的焦距，ze表示眼睛到屏幕的垂直观看距离；获得图像上pt点的视差值后根据公式(2)计算出两相机的基线长度值其中，表示计算得到的基线长度值，表示图像上点pt对应的真实三维空间中的点到相机拍摄平面的垂直距离，该参数值可通过双目相机先前拍摄的图像匹配计算得出，f表示相机焦距；将得到的相机基线长度值转换为步进电机的移动指令，通过UDP指令传给拍摄端，控制拍摄端步进电机移动，使双目相机移动至指定基线长度，进行拍摄；采用opencv及相机自带的SDK读取两相机图像；采用boost库中的TCP网络通信接口进行图像传输，将服务器端获取的压缩后的图像传输到客户端；客户端采用对应的boost库中的TCP网络通信接口接收压缩图像，并采用JPEG-turbo解码并通过3D显示器进行显示。本专利技术与现有技术方案相比具有以下有益效果和优点：本专利技术提出的自适应变基线双目立体相机系统，采用步进电机驱动双滑竿，在双滑竿上面安装两个相机作为可变基线双目相机，可视化端采用眼动仪跟踪捕捉双目观察的兴趣点，将观察的双目交汇点信息转换为双目相机的基线长度，反馈给远程双目摄像机，步进电机调节相应基线，使得可视化端感兴趣区域实现最佳的3D视觉效果，并对重影区域进行模糊化处理，既能避免人眼疲劳，又能够产生较为真实的虚拟现实效果，在运用到远程机器人操控过程中能够，通过在机器人上加装双目相机，实时回传双目图像，客户端显示立体效果，远程客户端即可在虚拟现实的环境中对远端机器人进行沉浸式操控。附图说明图1是本专利技术提出的自适应变基线双目立体相机系统的部分结构示意图。图中编号说明：1、第一相机；2、第二相机；3、双滑杆；4、服务器；5、客户端；6、PC主机；7、3D显示器；8、眼动仪；9、履带；10、主动轴；11、步进电机；12、电源。具体实施方式以下结合附图和具体实施例对本专利技术作进一步的详细描述：本实施例中，本专利技术提出的自适应变基线双目立体相机系统，包括：第一相机1、第二相机2、双滑杆3、服务器4、客户端5、PC主机6、3D显示器7、眼动仪8、第一相机1通过一固定相机安装云台固定在双滑竿3的一端，步进电机11通过一电机安装架固定在双滑竿3的另一端，第二相机2通过一滑动相机安装云台可滑动安装在双滑杆3上，双滑杆3上设置有一履带9，履带9通过主动轴10和一根从动轴套接在双滑杆3的两端，主动轴10与一步进电机11的输出轴相连，第二相机2固定在履带9上，第一相机1和第二相机2均与PC主机6相连，PC主机6与服务器4和3D显示器7分别相连，服务器4与客户端5相连，3D显示器7上加装眼动仪8，PC主机6上安装有眼动仪驱动软件。第一相机1和第二相机2的摄像头位于同一水平面上。步进电机11与一电源12相连，电源12的输出电压为12V，输出电流为1A。PC主机的CPU为I3，内存为2G，硬盘为256G，系统为Windows10。PC主机6采用OpenCV及相机自带SDK读取第一相机1和第二相机2拍摄的图像。服务器4采用boost库中的TCP网络通信接口将获取的压缩后的图像传输到客户端5，客户端5采用对应的boost库中的TCP网络通信接口接收压缩图像，并采用JPEG-turbo解码显示。客户端5与服务器4之间通信采用winsocketUDP通信，对图像的采集、压缩、传输以及步进电机11的运行进行相应的远程控制。本专利技术提出的自适应变基线双目立体相机的工作原理如下：通过眼动仪驱动软件跟踪捕捉双目观察的兴趣点；获取眼动仪本文档来自技高网...

【技术保护点】
一种自适应变基线双目立体相机系统，其特征在于，包括：第一相机、第二相机、双滑杆、服务器、客户端、PC主机、3D显示器、眼动仪、所述第一相机通过一固定相机安装云台固定在所述双滑竿的一端，所述步进电机通过一电机安装架固定在所述双滑竿的另一端，所述第二相机通过一滑动相机安装云台可滑动安装在所述双滑杆上，所述双滑杆上设置有一履带，所述履带通过一根主动轴和一根从动轴套接在所述双滑杆的两端，所述主动轴与一步进电机的输出轴相连，所述第二相机固定在所述履带上，所述第一相机和第二相机均与所述PC主机相连，所述PC主机所述服务器和3D显示器分别相连，所述服务器与所述客户端相连，所述3D显示器上加装眼动仪。

【技术特征摘要】
1.一种自适应变基线双目立体相机系统，其特征在于，包括：第一相机、第二相机、双滑杆、服务器、客户端、PC主机、3D显示器、眼动仪、所述第一相机通过一固定相机安装云台固定在所述双滑竿的一端，所述步进电机通过一电机安装架固定在所述双滑竿的另一端，所述第二相机通过一滑动相机安装云台可滑动安装在所述双滑杆上，所述双滑杆上设置有一履带，所述履带通过一根主动轴和一根从动轴套接在所述双滑杆的两端，所述主动轴与一步进电机的输出轴相连，所述第二相机固定在所述履带上，所述第一相机和第二相机均与所述PC主机相连，所述PC主机所述服务器和3D显示器分别相连，所述服务器与所述客户端相连，所述3D显示器上加装眼动仪。2.根据权利要求1所述的自适应变基线双目立体相机系统，其特征在于，所述第一相机和第二相机的摄像头位于同一水平面上。3.根据权利要求1所述的自适应变基线双目立体相机系统，其特征在于，所述步进电机与...

【专利技术属性】
技术研发人员：罗斌，张云，林国华，刘军，赵青，王伟，陈警，
申请(专利权)人：武汉嫦娥医学抗衰机器人股份有限公司，
类型：发明
国别省市：湖北,42