全景视频的传输方法、装置及存储介质制造方法及图纸

本发明专利技术适用于图像处理技术领域，提供了一种全景视频的传输方法、装置及存储介质，该方法包括：基于当前全景视频帧获取客户端用户的感兴趣区域的第一投影图像，将第一投影图像和缩小分辨率后的当前全景视频帧编码后发送给客户端，从而降低了全景视频传输过程中的网络资源开销和传输时延，并保证感兴趣区域的清晰度。度。度。

【技术实现步骤摘要】
全景视频的传输方法、装置及存储介质


[0001]本专利技术属于图像处理
，尤其涉及一种全景视频的传输方法、装置及存储介质。

技术介绍

[0002]全景视频是一种新兴的数据形态，和传统的视频相比，具有视野大、分辨率高、数据量大等特点。现有技术中通常是把拼接好的全景视频或原始鱼眼视频编码成标准的数据流格式进行数据传输，在客户端对数据流解码后再观看感兴趣区域，但传输这种大分辨率高画质的数据，会产生很大的网络资源开销，并且会产生一定程度的网络传输时延。

技术实现思路

[0003]本专利技术的目的在于提供一种全景视频的传输方法、装置及存储介质，旨在解决由于现有技术中全景视频传输过程中网络资源浪费和传输时延的问题。
[0004]一方面，本专利技术提供一种全景视频的传输方法，所述方法包括下述步骤：
[0005]基于当前全景视频帧获取客户端用户的感兴趣区域的第一投影图像；
[0006]将所述第一投影图像和缩小分辨率后的当前全景视频帧编码后发送给客户端。
[0007]可选地，所述基于当前全景视频帧获取客户端用户的感兴趣区域的第一投影图像的步骤，包括：
[0008]根据全景拍摄装置预设的标定参数生成经纬度映射表；
[0009]获取第二投影图像的各像素在目标三维坐标系下的各第一坐标信息，其中，所述第二投影图像为根据所述客户端的屏幕尺寸从所述全景拍摄装置的正前方取景时得到的投影图像；
[0010]根据用于表征所述感兴趣区域的欧拉角建立旋转矩阵；
[0011]根据所述旋转矩阵对所述各第一坐标信息旋转，得到各第二坐标信息；
[0012]对所述各第二坐标信息进行经纬度映射，得到各经纬度信息；
[0013]使用所述经纬度映射表对所述各经纬度信息进行坐标映射，得到所述感兴趣区域在当前全景视频帧下的各第三坐标信息；
[0014]根据当前全景视频帧获取所述各第三坐标信息对应的像素值，得到所述第一投影图像。
[0015]可选地，所述目标三维坐标系为右手坐标系，所述右手坐标系以所述全景拍摄装置所在点为原点，所述第一坐标信息的计算方式如下：
[0016]x＝(i
‑
rayW
×
0.5)
[0017]y＝(j
‑
rayH
×
0.5)
[0018]z＝tan(0.5π
‑
0.5
×
fov
×
π/180
°
)
×
rayW
×
0.5
[0019]其中，(i，j)表示所述第二投影图像在二维投影坐标系下的二维坐标，i、j均为正数，所述二维投影坐标系以所述客户端的屏幕所显示图像的左上角为原点，所述二维投影
坐标系的X轴和Y轴分别与所述右手坐标系的X轴和Y轴同向，(x,y,z)表示二维坐标点(i,j)在所述右手坐标系中的三维坐标，fov表示所述客户端的屏幕所显示图像的视场角，rayW表示所述客户端的屏幕的宽，rayH表示所述客户端的屏幕的高；
[0020]所述旋转矩阵的计算方式如下：
[0021][0022]r(0,0)＝cos(pitch)*cos(yaw)
[0023]r(0,1)＝sin(roll)*sin(pitch)*cos(yaw)
‑
cos(roll)*sin(yaw)
[0024]r(0,2)＝cos(roll)*sin(pitch)*cos(yaw)+sin(roll)*sin(yaw)
[0025]r(1,0)＝cos(pitch)*sin(yaw)
[0026]r(1,1)＝sin(roll)*sin(pitch)*sin(yaw)+cos(roll)*cos(yaw)
[0027]r(1,2)＝cos(roll)*sin(pitch)*sin(yaw)
‑
sin(roll)*cos(yaw)
[0028]r(2,0)＝
‑
sin(pitch)
[0029]r(2,1)＝sin(roll)*cos(pitch)
[0030]r(2,2)＝cos(roll)*cos(pitch)
[0031]其中，R表示所述旋转矩阵，yaw、pitch和roll分别表示所述感兴趣区域的偏航角、俯仰角和横滚角；
[0032]所述第二坐标信息的计算方式如下：
[0033]x0＝x
×
r(0,0)+y
×
r(0,1)+z
×
r(0,2)
[0034]y0＝x
×
r(1,0)+y
×
r(1,1)+z
×
r(1,2)
[0035]z0＝x
×
r(2,0)+y
×
r(2,1)+z
×
r(2,2)
[0036]其中，(x0，y0，z0)表示所述第二坐标信息中投影点的三维坐标；
[0037]所述经纬度信息计算方式如下：
[0038][0039][0040]其中，θ1表示经度，θ2表示纬度。
[0041]可选地，所述将所述第一投影图像和缩小分辨率后的当前全景视频帧编码后发送给客户端的步骤，包括：
[0042]获取当前全景视频帧的两个鱼眼图像；
[0043]将缩小分辨率后的两个鱼眼图像和所述第一投影图像组合，将组合后的图像编码后发送给所述客户端。
[0044]可选地，所述将所述第一投影图像和缩小分辨率后的当前全景视频帧编码后发送给客户端的步骤，包括：
[0045]获取当前全景视频帧的平面投影图像；
[0046]将缩小分辨率后的平面投影图像和所述第一投影图像组合，将组合后的图像编码
后发送给所述客户端。
[0047]可选地，所述方法还包括：
[0048]根据获取到的目标环境信息确定所述缩小分辨率后的当前全景视频帧的分辨率。
[0049]另一方面，本专利技术提供了一种全景视频的传输装置，所述装置包括：
[0050]投影图像获取单元，用于基于当前全景视频帧获取客户端用户的感兴趣区域的第一投影图像；
[0051]视频发送单元，用于将所述第一投影图像和缩小分辨率后的当前全景视频帧编码后发送给客户端。
[0052]可选地，所述投影图像获取单元还包括：
[0053]映射表生成单元，用于根据全景拍摄装置预设的标定参数生成经纬度映射表；
[0054]第一信息获取单元，用于获取第二投影图像的各像素在目标三维坐标系下的各第一坐标信息，所述第二投影图像为根据所述客户端的屏幕尺寸从所述全景拍摄装置的正前方取景时得到的投影图像；
[0055]旋转矩阵建立单元，用于根据用于表征所述感兴趣区域的欧拉角建立旋转矩阵；
[0056]第二信息获取单元，用于根本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种全景视频的传输方法，其特征在于，所述方法包括下述步骤：基于当前全景视频帧获取客户端用户的感兴趣区域的第一投影图像；将所述第一投影图像和缩小分辨率后的当前全景视频帧编码后发送给客户端。2.如权利要求1所述的方法，其特征在于，所述基于当前全景视频帧获取客户端用户的感兴趣区域的第一投影图像的步骤包括：根据全景拍摄装置预设的标定参数生成经纬度映射表；获取第二投影图像的各像素在目标三维坐标系下的各第一坐标信息，其中，所述第二投影图像为根据所述客户端的屏幕尺寸从所述全景拍摄装置的正前方取景时得到的投影图像；根据用于表征所述感兴趣区域的欧拉角建立旋转矩阵；根据所述旋转矩阵对所述各第一坐标信息旋转，得到各第二坐标信息；对所述各第二坐标信息进行经纬度映射，得到各经纬度信息；使用所述经纬度映射表对所述各经纬度信息进行坐标映射，得到所述感兴趣区域在当前全景视频帧下的各第三坐标信息；根据当前全景视频帧获取所述各第三坐标信息对应的像素值，得到所述第一投影图像。3.如权利要求2所述的方法，其特征在于，所述目标三维坐标系为右手坐标系，所述右手坐标系以所述全景拍摄装置所在点为原点，所述第一坐标信息的计算方式如下：x＝(i
‑
rayW
×
0.5)y＝(j
‑
rayH
×
0.5)z＝tan(0.5π
‑
0.5
×
fov
×
π/180
°
)
×
rayW
×
0.5其中，(i，j)表示所述第二投影图像在二维投影坐标系下的二维坐标，i、j均为正数，所述二维投影坐标系以所述客户端的屏幕所显示图像的左上角为原点，所述二维投影坐标系的X轴和Y轴分别与所述右手坐标系的X轴和Y轴同向，(x,y,z)表示二维坐标点(i,j)在所述右手坐标系中的三维坐标，fov表示所述客户端的屏幕所显示图像的视场角，rayW表示所述客户端的屏幕的宽，rayH表示所述客户端的屏幕的高；所述旋转矩阵的计算方式如下：r(0,0)＝cos(pitch)*cos(yaw)r(0,1)＝sin(roll)*sin(pitch)*cos(yaw)
‑
cos(roll)*sin(yaw)r(0,2)＝cos(roll)*sin(pitch)*cos(yaw)+sin(roll)*sin(yaw)r(1,0)＝cos(pitch)*sin(yaw)r(1,1)＝sin(roll)*sin(pitch)*sin(yaw)+cos(roll)*cos(yaw)r(1,2)＝cos(roll)*sin(pitch)*sin(yaw)
‑
sin(roll)*cos(yaw)r(2,0)＝
‑
sin(pitch)r(2,1)＝sin(roll)*cos(pitch)
r(2,2)＝cos(roll)*cos(pitch)其中，R表示所述旋转矩阵，yaw、...

【专利技术属性】
技术研发人员：何红烨，郭奕滨，
申请(专利权)人：影石创新科技股份有限公司，
类型：发明
国别省市：