应用于室内场景虚拟现实直播的多目立体视觉系统及方法技术方案

本发明专利技术公开的应用于室内场景虚拟现实直播的多目立体视觉系统，包括设置在室内的M个导轨、在M个滑轨上滑动的N个独立的摄像机、N个能够带动摄像机在滑轨上移动的驱动小车、处理器、虚拟现实输出设备，其中M≥1，N≥3；所述N个独立的摄像机能够两两组合在一起对目标物进行拍摄，并将拍摄的信息传输给处理器，处理器经过处理后，将虚拟现实视频信号传输至虚拟现实输出设备，用户通过虚拟现实输出设备对目标物进行观察。本发明专利技术的视觉系统及方法，通过多个摄像头，两两组成多对双目立体视觉系统，对物体进行观察摄像，确保能够最大限度得提取到物体及其周边环境的环境信息，使得3D建模更为准确精细。

【技术实现步骤摘要】

本专利技术涉及虚拟现实应用领域，特别涉及应用于室内场景虚拟现实直播的多目立体视觉系统及方法。
技术介绍
如今，随着虚拟现实技术的不断发展，基于双目视觉原理的摄像系统已经在人类社会的工业生产和现实生活中扮演者越来越重要的角色。与一般传统的单目摄像方式不同，双目视觉利用两个摄像机对同一个物体进行摄像，从两个或者多个点观察一个物体，获取在不同视角下的图像，根据图像之间像素的匹配关系，通过三角测量原理计算出像素之间的偏移来获取物体的三维信息。得到了物体的景深信息，就可以计算出物体与相机之间的实际距离，物体三维大小，两点之间实际距离。目前也有很多研究机构进行三维物体识别，来解决2D算法无法处理遮挡，姿态变化的问题，提高物体的识别率，用以获取环境当中的景深信息。中国专利号：201510357389.X，名称：一种双目视觉测量方法，该专利技术提供一种双目视觉测量方法，利用双目相机的左右两个相机同时拍摄同一个物体进行双目图像采集，得到左右两幅图像；使用SURF算法对所述左右两幅图像进行特征点提取，并且粗略匹配特征点对；使用RANSAC算法对所述粗略匹配的特征点对根据几何成像的线性关系进行筛选，得到可信的特征点对；根据所述可信的特征点对在所述左右两幅图像中的位置信息，同时使用双目立体视觉三维测量的相关公式，对物体进行测量。本专利技术利用了双目视觉原理，结合SURF和RANSAC算法，实现对物体与相机的远近进行了实时的测量，其用于无人机时，可以解决无人机在飞行过程中的测距问题，具有现实的实用意义。中国专利号：201520834809.4，名称：一种多目视觉系统，该专利技术公开了一种多目视觉系统，包括视觉系统，视觉系统通过减震器安装在一个驱动系统上，视觉系统可在驱动系统的作用下在水平面内旋转；视觉系统包括壳体，壳体外侧分布有一对主眼相机和多个副眼相机，其中一对主眼相机的光轴相互平行。本技术提供了一种多目的视觉系统，保留死角小，盲区小，对于主眼前方物体的定位功能也有大幅度的提升。可以对主眼前方的物体进行定位；在装置减震方面：弹簧减震装置在经过防锈处理后，不仅抗腐蚀能力强，性能稳定，可在恶劣环境下正常工作。使用寿命长。而且工艺简单，维修方便。综上，尽管双目立体视觉系统能够测量出目标物的景深信息，但由于两个摄像机的覆盖面小，并不能够提供360°全方位的拍摄。而采用了一对主眼相机和多个副眼相机的多目视觉系统，也因主眼相机和副眼相机是固定在同一个部件上而失去了多目视觉系统的灵活性，副眼相机的运动范围受到了主眼相机的运动制约，使得其并不能同时从多个角度拍摄目标物体。
技术实现思路
本专利技术的目的在于克服现有技术的缺点与不足，提供应用于室内场景虚拟现实直播的多目立体视觉系统。本专利技术的另一目的在于提供应用于室内场景虚拟现实直播的多目立体视觉方法。本专利技术的目的通过以下的技术方案实现：应用于室内场景虚拟现实直播的多目立体视觉系统，包括设置在室内的M个导轨、在M个滑轨上滑动的N个独立的摄像机、N个能够带动摄像机在滑轨上移动的驱动小车、处理器、虚拟现实输出设备，其中M≥1，N≥3；所述N个独立的摄像机能够两两组合在一起对目标物进行拍摄，并将拍摄的信息传输给处理器，处理器经过处理后，将虚拟现实视频信号传输至虚拟现实输出设备，用户通过虚拟现实输出设备对目标物进行观察。所述摄像机的自由度大于等于3，当目标物的位置改变时，摄像机根据实际情况实时通过左右转动和上下摆动来获取所需的摄影角度；由于实际环境的限制，当滑轨不能围合成封闭的几何形状时，多个摄像机之间通过调整各自的角度来实时跟踪目标物。所述驱动小车包括滑动平台、支撑滑动平台的K个轮子；所述滑轨的横截面的形状为工字形，滑轨的左侧形成第一凹槽，滑轨的右侧形成第二凹槽；其中滑动平台上固定有摄像机，m个轮子设置在第一凹槽中，n个轮子设置在第一凹槽中，K、m、n均为正整数，且K＝m+n。滑轨截面形状为“工”字型，两端的凹槽能够固定住滑动平台的轮子，使得摄像机能够更为牢固稳定的在滑轨上运动。滑轨截面形状为“工”字型，两端的凹槽能够固定住滑动平台的轮子，使得摄像机能够更为牢固稳定的在滑轨上运动，同时，也使得将滑轨布置在房间顶部成为了可能。所述M＝3，N＝3；则三条滑轨上个分别设置一个摄像机；三条滑轨处于同一平面，该平面平行于室内地面，且任意两条滑轨之间的夹角为60°，每个摄像机的视角均大于120°。目标物的位置可以根据实际需求设置，可以与三条滑轨处于同一平面，也可以处于不同平面，将目标物置于三条滑轨所在平面的正下方。所述M＝1，N＝3；则一条滑轨上设置三个摄像机，滑轨为封闭的圆形，该滑轨所在平面平行于室内地面。目标物的位置可以根据实际需求设置，可以与圆形滑轨处于同一平面，也可以处于不同平面，将目标物置于圆形滑轨所在平面的正下方。所述虚拟现实输出设备包括VR头戴显示器。本专利技术的另一目的通过以下的技术方案实现：应用于室内场景虚拟现实直播的多目立体视觉方法，包含以下步骤：S1、设置在M个滑轨上的N个独立的摄像机进行自标定；其中M≥1，N≥3；所述N个独立的摄像机能够两两组合在一起对目标物进行拍摄，并将拍摄的信息传输给处理器；由于在后期的摄影过程当中，N个摄像机将会根据目标物体的移动而移动，因此采用了摄像机的自定标方法，保证摄像机在移动改变位置后仍然能够较快的完成标定。S2、根据目标物的位置，处理器分别控制N个独立的摄像机移动至合适的位置；所述N个独立的摄像机是分别通过N个驱动小车带动摄像机在滑轨上移动的；S3、处理器进行立体匹配；S4、处理器进行三维重建；S5、处理器输出虚拟现实视频信号，得到一个完整的三维虚拟场景；使用者通过虚拟现实输出设备(VR头戴显示器等)对目标物进行全方位的观察。所述M＝3，N＝3；则三条滑轨上个分别设置一个摄像机；三条滑轨处于同一平面，该平面平行于室内地面，且任意两条滑轨之间的夹角为60°，每个摄像机的视角均大于120°；首先基于视差原理，通过两个观测点(即两个摄像机所在位置)观察同一目标物，获得在不同视觉情况下的同一目标物的图像；然后通过三角测量原理计算出图像像素间的视差来获得目标物的三维空间信息；N个独立的摄像机能够两两组合在一起对目标物进行拍摄，当N＝3时，摄像机有三组不同的组合，处理器进行三次立体匹配和三维重建。在信息处理的流程中，一个双目立体视觉系统需要先后实现立体匹配和三维重建。在本专利技术中，由于系统中包含有三组双目立体视觉系统，因此，在系统的运行过程中，需要同时进行三次立体匹配和三维重建。本专利技术与现有技术相比，具有如下优点和有益效果：1、本专利技术所提出的多目立体视觉系统则提供了多个能独立运动，且性能相同的摄像机，使得本专利技术能够同时从多个不同的摄像点对目标物体进行拍摄，进而在获得其景深信息的同时获得目标物的全方位信息。2、本专利技术通过多个摄像头，两两组成多对双目立体视觉系统，对物体进行观察摄像，确保能够最大限度得提取到物体及其周边环境的环境信息，使得3D建模更为准确精细。3、本专利技术结合双目视觉摄像技术，一方面，通过布置在房间内的导轨，配合以在导轨上滑动的多个独立的摄像头，进而组合成多对双目摄像机，对物件的景深信息进行重复比对，得出在不同方向上观察物件的最佳角度。4、本专利技术提供了多条滑轨，使得本文档来自技高网...

【技术保护点】
应用于室内场景虚拟现实直播的多目立体视觉系统，其特征在于：包括设置在室内的M个导轨、在M个滑轨上滑动的N个独立的摄像机、N个能够带动摄像机在滑轨上移动的驱动小车、处理器、虚拟现实输出设备，其中M≥1，N≥3；所述N个独立的摄像机能够两两组合在一起对目标物进行拍摄，并将拍摄的信息传输给处理器，处理器经过处理后，将虚拟现实视频信号传输至虚拟现实输出设备，用户通过虚拟现实输出设备对目标物进行观察。

【技术特征摘要】
1.应用于室内场景虚拟现实直播的多目立体视觉系统，其特征在于：包括设置在室内的M个导轨、在M个滑轨上滑动的N个独立的摄像机、N个能够带动摄像机在滑轨上移动的驱动小车、处理器、虚拟现实输出设备，其中M≥1，N≥3；所述N个独立的摄像机能够两两组合在一起对目标物进行拍摄，并将拍摄的信息传输给处理器，处理器经过处理后，将虚拟现实视频信号传输至虚拟现实输出设备，用户通过虚拟现实输出设备对目标物进行观察。2.根据权利要求1所述应用于室内场景虚拟现实直播的多目立体视觉系统，其特征在于：所述摄像机的自由度大于等于3，当目标物的位置改变时，摄像机根据实际情况实时通过左右转动和上下摆动来获取所需的摄影角度；当滑轨不能围合成封闭的几何形状时，多个摄像机之间通过调整各自的角度来实时跟踪目标物。3.根据权利要求1所述应用于室内场景虚拟现实直播的多目立体视觉系统，其特征在于：所述驱动小车包括滑动平台、支撑滑动平台的K个轮子；所述滑轨的横截面的形状为工字形，滑轨的左侧形成第一凹槽，滑轨的右侧形成第二凹槽；其中滑动平台上固定有摄像机，m个轮子设置在第一凹槽中，n个轮子设置在第一凹槽中，K、m、n均为正整数，且K＝m+n。4.根据权利要求1至3任一权利要求所述应用于室内场景虚拟现实直播的多目立体视觉系统，其特征在于：所述M＝3，N＝3；则三条滑轨上个分别设置一个摄像机；三条滑轨处于同一平面，该平面平行于室内地面，且任意两条滑轨之间的夹角为60°，每个摄像机的视角均大于120°。5.根据权利要求1至3任一权利要求所述应用于室内场景虚拟现实直播的多目立体视觉系统，其特...

【专利技术属性】
技术研发人员：杨辰光，梁聪垣，曾超，贺波涛，
申请(专利权)人：华南理工大学，苏州晨本智能科技有限公司，
类型：发明
国别省市：广东;44