一种室内全景视频生成方法及装置制造方法及图纸

本发明专利技术实施例公开了一种室内全景视频生成方法及装置，针对每一帧鱼眼视频图像，将该鱼眼视频图像的每个像素点在图像坐标系的坐标转换为球坐标系的坐标，获得基于球坐标系的鱼眼半球图；根据预设的居室的形状，确定该鱼眼半球图对应的N个视角纹理图中每个视角纹理图的视景体参数，根据该N个视角纹理图中每个视角纹理图的视景体参数，获得该鱼眼半球图对应的N个视角纹理图，将该N个视角纹理图渲染到所述预设的居室内部的N个面上，生成该鱼眼视频图像对应的全景视频图像。由此可见，本方案能够生成呈现出立体效果的全景视频图像；不使用复杂的图像拼接算法，提高了生成全景视频的实时性；不需要多个摄像头或航拍器，拍摄设备成本低。

Indoor panoramic video generation method and device

The embodiment of the invention discloses a device and a method for generating indoor panoramic video, each frame of the fisheye video image, the coordinates of each pixel of the fisheye video image in the image coordinate conversion coordinates of spherical coordinates, obtained spherical coordinate map based on fisheye hemisphere; according to the preset room shape. To determine each scene texture N texture of the fisheye hemispherical map in the corresponding parameter, according to the scene of each texture of the N texture in the body parameters, N texture to obtain the corresponding fisheye hemispherical map, N surface inside the N room from the perspective of texture rendering to the preset, panoramic video image generating the fisheye image and the corresponding video. Thus, this scheme can show three-dimensional effect of panoramic image generation; do not use image stitching algorithm complexity, improve the real-time generation of panoramic video; do not need multiple cameras or aerial shooting equipment, low cost.

【技术实现步骤摘要】
一种室内全景视频生成方法及装置
本专利技术涉及视频监控
，特别涉及一种室内全景视频生成方法及装置。
技术介绍
随着科技的不断发展，全景视频已在诸多领域发挥出巨大价值和优势。例如：在视频监控系统中，对室内场景进行监控时，比如对超市进行监控时，通过摄像头采集视频图像生成全景视频，以达到更好的监控效果。目前，全景视频的生成方法有以下几种：一、对同一场景从不同角度进行拍摄，将得到的视频图像采用图像拼接算法拼接成球体。采用这种方法，需要多个摄像头或使用航拍器，拍摄设备成本高，且图像拼接算法复杂，得到全景视频的实时性差。二、利用鱼眼摄像头的超大视场角，对场景进行拍摄，将得到的画面通过PTZ(Pan/Tilt/Zoom，云台全方位(左右/上下)移动及镜头变倍、变焦控制矫正)展开，获得全景展开图。采用这种方法，通过PTZ展开的仍旧是一张二维图像，与传统视频观看效果区别不大，用户体验较差。
技术实现思路
本专利技术实施例的目的在于提供一种室内全景视频生成方法及装置，以提高生成全景视频的实时性，并呈现出立体效果。为达到上述目的，本专利技术实施例公开了一种室内全景视频生成方法，应用于视频处理设备，包括：获取鱼眼视频；针对每一帧鱼眼视频图像，按照第一预设规则，将所述鱼眼视频图像的每个像素点在图像坐标系的坐标转换为球坐标系的坐标，获得基于球坐标系的鱼眼半球图；根据预设的居室的形状，确定所述鱼眼半球图对应的N个视角纹理图中每个视角纹理图的视景体参数，其中，所述预设的居室的形状根据所述鱼眼视频图像对应的场景设定；根据所述N个视角纹理图中每个视角纹理图的视景体参数，获得所述鱼眼半球图对应的N个视角纹理图，将所述N个视角纹理图渲染到所述预设的居室内部的N个面上，生成所述鱼眼视频图像对应的全景视频图像。可选的，所述按照第一预设规则，将所述鱼眼视频图像的每个像素点在图像坐标系的坐标转换为球坐标系的坐标，获得基于球坐标系的鱼眼半球图，可以包括：按照下式，将所述鱼眼视频图像的每个像素点在图像坐标系的坐标(u，v)转换为球坐标系的坐标(x，y，z)，获得基于球坐标系的鱼眼半球图：u-0.5＝x＝R*cos(α)*cos(θ)v-0.5＝y＝R*cos(α)*sin(θ)z＝R*sin(α)其中，R为所述鱼眼半球图中半球的半径，α为所述鱼眼半球图中的点与Y轴的夹角，θ为所述鱼眼半球图中的点与X轴的夹角。可选的，当所述预设的居室为长方体形状居室时，所述根据预设的居室的形状，确定所述鱼眼半球图对应的N个视角纹理图中每个视角纹理图的视景体参数，可以包括：构建所述鱼眼半球图对应的球体的内接长方体，所述内接长方体的长、宽、高之比与所述长方体形状居室的长、宽、高之比相同；根据所述内接长方体，确定所述鱼眼半球图对应的N个视角纹理图中每个视角纹理图的视景体参数。可选的，所述视景体参数可以包括视景体的角度参数和视口参数；所述根据所述内接长方体，确定所述鱼眼半球图对应的N个视角纹理图中每个视角纹理图的视景体参数，可以包括：根据所述内接长方体的平面之间的角度确定每个视角纹理图的视景体的角度参数，其中，所述角度参数包括方位角参数和仰角参数；根据所述内接长方体的棱长确定每个视角纹理图的视景体的视口参数，其中，其中，所述视口参数包括左、右、下、上、前和后边界参数。可选的，当所述预设的居室为长方体形状居室时，所述获得所述鱼眼半球图对应的N个视角纹理图，可以包括：获得所述鱼眼半球图对应的四个墙壁方向和一个地板方向的视角纹理图。可选的，所述将所述N个视角纹理图渲染到所述预设的居室内部的N个面上，可以包括：绘制所述预设的居室内部的四个墙壁所在的面和地板所在的面，并确定每个面对应的坐标；根据所述鱼眼半球图对应的四个墙壁方向和一个地板方向的视角纹理图的视景体参数，将所述鱼眼半球图对应的四个墙壁方向和一个地板方向的视角纹理图的坐标调整到与所述四个墙壁所在的面和地板所在的面对应的坐标相对应的位置。可选的，所述获取鱼眼视频，可以包括：接收设置在居室顶棚中心位置的一个鱼眼摄像头发送的鱼眼视频。为达到上述目的，本专利技术实施例还公开了一种室内全景视频生成装置，应用于视频处理设备，包括：获取模块，用于获取鱼眼视频；转换模块，用于针对每一帧鱼眼视频图像，按照第一预设规则，将所述鱼眼视频图像的每个像素点在图像坐标系的坐标转换为球坐标系的坐标，获得基于球坐标系的鱼眼半球图；确定模块，用于根据预设的居室的形状，确定所述鱼眼半球图对应的N个视角纹理图中每个视角纹理图的视景体参数，其中，所述预设的居室的形状根据所述鱼眼视频图像对应的场景设定；获得模块，用于根据所述N个视角纹理图中每个视角纹理图的视景体参数，获得所述鱼眼半球图对应的N个视角纹理图；生成模块，用于将所述N个视角纹理图渲染到所述预设的居室内部的N个面上，生成所述鱼眼视频图像对应的全景视频图像。可选的，所述转换模块，具体可以用于：按照下式，将所述鱼眼视频图像的每个像素点在图像坐标系的坐标(u，v)转换为球坐标系的坐标(x，y，z)，获得基于球坐标系的鱼眼半球图：u-0.5＝x＝R*cos(α)*cos(θ)v-0.5＝y＝R*cos(α)*sin(θ)z＝R*sin(α)其中，R为所述鱼眼半球图中半球的半径，α为所述鱼眼半球图中的点与Y轴的夹角，θ为所述鱼眼半球图中的点与X轴的夹角。可选的，所述确定模块，可以包括：构建子模块，用于当所述预设的居室为长方体形状居室时，构建所述鱼眼半球图对应的球体的内接长方体，所述内接长方体的长、宽、高之比与所述长方体形状居室的长、宽、高之比相同；确定子模块，用于根据所述内接长方体，确定所述鱼眼半球图对应的N个视角纹理图中每个视角纹理图的视景体参数。可选的，所述视景体参数包括视景体的角度参数和视口参数；所述确定子模块，可以包括：角度参数确定子模块，用于根据所述内接长方体的平面之间的角度确定每个视角纹理图的视景体的角度参数，其中，所述角度参数包括方位角参数和仰角参数；视口参数确定子模块，用于根据所述内接长方体的棱长确定每个视角纹理图的视景体的视口参数，其中，所述视口参数包括左、右、下、上、前和后边界参数。可选的，所述获得模块，具体可以用于：当所述预设的居室为长方体形状居室时，根据所述N个视角纹理图中每个视角纹理图的视景体参数，获得所述鱼眼半球图对应的四个墙壁方向和一个地板方向的视角纹理图。可选的，所述生成模块，可以包括：居室绘制子模块，用于绘制所述预设的居室内部的四个墙壁所在的面和地板所在的面，并确定每个面对应的坐标；全景视频图像生成子模块，用于根据所述鱼眼半球图对应的四个墙壁方向和一个地板方向的视角纹理图的视景体参数，将所述鱼眼半球图对应的四个墙壁方向和一个地板方向的视角纹理图的坐标调整到与所述四个墙壁所在的面和地板所在的面对应的坐标相对应的位置，生成所述鱼眼视频图像对应的全景视频图像。可选的，所述获取模块，具体可以用于：接收设置在居室顶棚中心位置的一个鱼眼摄像头发送的鱼眼视频。由上述技术方案可见，应用本专利技术所示实施例，针对每一帧鱼眼视频图像，将所述鱼眼视频图像的每个像素点在图像坐标系的坐标转换为球坐标系的坐标，获得基于球坐标系的鱼眼半球图；根据预设的居室的形状，确定所述鱼眼半球图对应的N个视角纹理图中每本文档来自技高网...

【技术保护点】
一种室内全景视频生成方法，其特征在于，应用于视频处理设备，包括：获取鱼眼视频；针对每一帧鱼眼视频图像，按照第一预设规则，将所述鱼眼视频图像的每个像素点在图像坐标系的坐标转换为球坐标系的坐标，获得基于球坐标系的鱼眼半球图；根据预设的居室的形状，确定所述鱼眼半球图对应的N个视角纹理图中每个视角纹理图的视景体参数，其中，所述预设的居室的形状根据所述鱼眼视频图像对应的场景设定；根据所述N个视角纹理图中每个视角纹理图的视景体参数，获得所述鱼眼半球图对应的N个视角纹理图，将所述N个视角纹理图渲染到所述预设的居室内部的N个面上，生成所述鱼眼视频图像对应的全景视频图像。

【技术特征摘要】
1.一种室内全景视频生成方法，其特征在于，应用于视频处理设备，包括：获取鱼眼视频；针对每一帧鱼眼视频图像，按照第一预设规则，将所述鱼眼视频图像的每个像素点在图像坐标系的坐标转换为球坐标系的坐标，获得基于球坐标系的鱼眼半球图；根据预设的居室的形状，确定所述鱼眼半球图对应的N个视角纹理图中每个视角纹理图的视景体参数，其中，所述预设的居室的形状根据所述鱼眼视频图像对应的场景设定；根据所述N个视角纹理图中每个视角纹理图的视景体参数，获得所述鱼眼半球图对应的N个视角纹理图，将所述N个视角纹理图渲染到所述预设的居室内部的N个面上，生成所述鱼眼视频图像对应的全景视频图像。2.根据权利要求1所述的方法，其特征在于，所述按照第一预设规则，将所述鱼眼视频图像的每个像素点在图像坐标系的坐标转换为球坐标系的坐标，获得基于球坐标系的鱼眼半球图，包括：按照下式，将所述鱼眼视频图像的每个像素点在图像坐标系的坐标(u，v)转换为球坐标系的坐标(x，y，z)，获得基于球坐标系的鱼眼半球图：u-0.5＝x＝R*cos(α)*cos(θ)v-0.5＝y＝R*cos(α)*sin(θ)z＝R*sin(α)其中，R为所述鱼眼半球图中半球的半径，α为所述鱼眼半球图中的点与Y轴的夹角，θ为所述鱼眼半球图中的点与X轴的夹角。3.根据权利要求1所述的方法，其特征在于，当所述预设的居室为长方体形状居室时，所述根据预设的居室的形状，确定所述鱼眼半球图对应的N个视角纹理图中每个视角纹理图的视景体参数，包括：构建所述鱼眼半球图对应的球体的内接长方体，所述内接长方体的长、宽、高之比与所述长方体形状居室的长、宽、高之比相同；根据所述内接长方体，确定所述鱼眼半球图对应的N个视角纹理图中每个视角纹理图的视景体参数。4.根据权利要求3所述的方法，其特征在于，所述视景体参数包括视景体的角度参数和视口参数；所述根据所述内接长方体，确定所述鱼眼半球图对应的N个视角纹理图中每个视角纹理图的视景体参数，包括：根据所述内接长方体的平面之间的角度确定每个视角纹理图的视景体的角度参数，其中，所述角度参数包括方位角参数和仰角参数；根据所述内接长方体的棱长确定每个视角纹理图的视景体的视口参数，其中，其中，所述视口参数包括左、右、下、上、前和后边界参数。5.根据权利要求1所述的方法，其特征在于，当所述预设的居室为长方体形状居室时，所述获得所述鱼眼半球图对应的N个视角纹理图，包括：获得所述鱼眼半球图对应的四个墙壁方向和一个地板方向的视角纹理图。6.根据权利要求5所述的方法，其特征在于，所述将所述N个视角纹理图渲染到所述预设的居室内部的N个面上，包括：绘制所述预设的居室内部的四个墙壁所在的面和地板所在的面，并确定每个面对应的坐标；根据所述鱼眼半球图对应的四个墙壁方向和一个地板方向的视角纹理图的视景体参数，将所述鱼眼半球图对应的四个墙壁方向和一个地板方向的视角纹理图的坐标调整到与所述四个墙壁所在的面和地板所在的面对应的坐标相对应的位置。7.根据权利要求1-6任意一项所述的方法，其特征在于，所述获取鱼眼视频，包括：接收设置在居室顶棚中心位置的一个鱼眼摄像头...

【专利技术属性】
技术研发人员：林耀冬，王全占，陈杰，郭斌，
申请(专利权)人：杭州海康威视数字技术股份有限公司，
类型：发明
国别省市：浙江,33