一种基于鸿蒙分布式能力的裸眼3D直播方法、装置及系统制造方法及图纸

本发明专利技术公开了一种基于鸿蒙分布式能力的裸眼3D直播方法和系统。首先将具有相机能力的鸿蒙设备呈圆周形等距离等高度的放置在直播场景周围，然后启动所有设备的动态链接功能，使所有设备均链接在分布式软总线中，借助分布式能力，多台设备形成超级虚拟控制终端；开启各设备的直播录制功能，获取多路直播视频流数据；超级虚拟控制终端控制各设备之间进行配对和实时图像拼接，形成直播场景的360

【技术实现步骤摘要】
一种基于鸿蒙分布式能力的裸眼3D直播方法、装置及系统


[0001]本专利技术涉及鸿蒙视频处理
，尤其涉及鸿蒙系统的分布式能力、图像处理能力及数据传输能力，提出一种基于鸿蒙分布式能力的裸眼3D直播方法、装置及系统。

技术介绍

[0002]鸿蒙系统是一款面向全场景的国产分布式操作系统，其内置分布式软总线技术，可将多类鸿蒙设备连接至同一分布式软总线的网络中，使多种设备共同形成一个超级虚拟终端，多设备的应用程序数据和用户数据同步到终端进行统一管理，用户数据不再与单一物理设备进行绑定，不同的设备实现资源融合和数据共享，达到多种设备之间的硬件互助、资源共享的目的。随着流媒体技术的不断发展，直播技术被广泛应用于各行各业，全新的交互方式促进了众多行业的快速发展，同时也打破了传统行业的壁垒，使各行各业焕发新的生机。
[0003]Chen等人专利技术了一种裸眼3D直播的方法，该方法实时接收流媒体云服务器发送的一路视频，并根据预设规则进行编解码，从而得到两路图像数据，后对两路图像进行3D显示。其所提供的方法利用人眼视觉差呈现图像的3D效果。由于其只提供一路视频流，所以直播时仅提供一个具有3D效果的观看角度，用户无法对观看角度进行控制。Yuan在上一种方法的基础上做出改进，提出了一种基于双摄采集的3D直播显示方法及系统，该方法使用左右摄像头分别采集直播图像，在直播端对两路图像进行拼接展示，以达到3D直播的效果，然后再将视频流实时传输到用户端。该方法包含了两路图像，通过图像拼接技术实现成像画面的3D效果，但是双摄采集图像只能为用户提供少量的直播观看角度，做不到为用户提供360
°
全方位的具有3D效果的直播视角，用户无法对观看角度进行控制。

技术实现思路

[0004]本专利技术的目的在于针对鸿蒙系统的特性，提出一种基于鸿蒙分布式能力的裸眼3D直播方法、装置及系统。本专利技术在现有方法的基础上进行改进，增加视频采集设备的同时，借助鸿蒙系统的分布式软总线能力实现多路视频数据共享和传输，借助鸿蒙系统的图像处理能力实现多路视频数据的图像拼接，同时赋予用户直播视角的切换权利，为用户提供360
°
全方位的具有3D效果的直播视角。
[0005]本专利技术采用的技术方案如下：
[0006]一种基于鸿蒙分布式能力的裸眼3D直播方法，包括以下步骤：
[0007]将具有相机能力的鸿蒙设备呈圆周形等距离等高度的放置在直播场景周围；
[0008]启动各鸿蒙设备的动态链接功能，使各鸿蒙设备链接在分布式软总线中，形成超级虚拟控制终端；
[0009]开启各鸿蒙设备的直播录制功能，获取多路直播视频流数据；
[0010]超级虚拟控制终端控制各鸿蒙设备之间进行配对和实时图像拼接，形成直播场景的360
°
的3D立体视频流；
[0011]将直播场景的360
°
的3D立体视频流通过视频传输协议传输至用户端。
[0012]进一步地，所述用户端包含角度控制器，用户在观看直播时，通过操控角度控制器连续切换观看直播的角度，每个角度都是以3D效果呈现在用户面前；所述角度控制器能够任意切换观看视频的角度，该角度用Ca来表示，0
°
≤Ca≤360
°
。
[0013]进一步地，将所述直播场景即LS简化为一个点S；各鸿蒙设备的信息形式化表述为<P，O，A>，其中：P表示鸿蒙设备相对S点的坐标位置；O表示鸿蒙设备的排列序号，O＝{o1，o2，o5……
，o
n
}，其中o
i
表示某一台鸿蒙设备排列序号为i；A表示鸿蒙设备拍摄LS的角度范围，A＝{a1，a2，
……
，a
n
}，其中a
i
是序号为i的设备能够拍摄LS的角度范围；所述超级虚拟控制终端表示为：W＝{w1，w2，
……
，w
n
}，其中w
i
表示编号为i的鸿蒙设备的CPU占据整个虚拟控制终端总CPU的比例；端总CPU的比例；其中Q
i
表示第i张图片的特征点集合，表示第i张图片中的第j个特征点。
[0014]进一步地，所述各鸿蒙设备符合以下要求：
[0015]各鸿蒙设备具有基本的相机能力，能够获取相机数据并进行数据传输；相邻的鸿蒙设备间最少有一台鸿蒙设备具备图像数据的存储能力和处理能力，以方便后期进行图像拼接处理；
[0016]将直播场景LS简化为一个点S，各鸿蒙设备与S点的距离相同；
[0017]各鸿蒙设备在摆放时，保证拍摄LS的角度范围存在一定程度的重合，重合的程度取决于图像拼接算法的要求；
[0018]以LS中距离S点最远的距离为半径形成圆弧，将该圆弧以直线的方式展开，直线长度表示圆弧的0
°
到360
°
，每台鸿蒙设备拍摄LS角度范围都是直线上的一段距离，各角度范围之间存在重合，各角度范围覆盖0
°
到360
°
的整条直线。
[0019]进一步地，所述超级虚拟控制终端控制各鸿蒙设备之间进行配对和实时图像拼接，包括：
[0020]根据加入分布式软总线的鸿蒙设备，确定当前参与直播拍摄的鸿蒙设备数量N，并确定N的奇偶性；
[0021]若N为偶数，设备从鸿蒙设备o1开始两两配对，配对后同时进行图像拼接，后续再对N/2个设备两两配对，重复上述步骤进行图像拼接形成最后的3D图像；
[0022]若N为奇数，设备从鸿蒙设备o1开始两两配对，鸿蒙设备o
n
不参与本次配对，配对完成的设备依次完成图像拼接，鸿蒙设备o
n
的图像与相邻设备对形成，即第(n
‑
1)/2个设备对的图像进行拼接，重复上述步骤形成最后的3D图像；
[0023]在确定了两两配对的能够进行图像拼接的鸿蒙设备后，依据两鸿蒙设备间的计算能力，确定执行图像拼接运算的单个鸿蒙设备。
[0024]进一步地，所述依据两鸿蒙设备间的计算能力，确定执行图像拼接运算的单个鸿蒙设备，包括：获取两个鸿蒙设备的CPU主频和内存并作比较，在内存容量满足基本的图像数据存储的基础上，CPU主频更大的设备被设置为执行具体的图像拼接运算的设备。
[0025]进一步地，所述图像拼接包括：
[0026]检测和计算两帧图像各自的特征点，并输出特征点集合，记作检测和计算两帧图像各自的特征点，并输出特征点集合，记作其中Q
i
表示第i张图片的特征点集合，表示
第i张图片中的第j个特征点；
[0027]对两帧图像进行匹配，找到Q1与Q2中特征点的最佳匹配点，并通过最佳匹配点确定两帧图像间的映射关系；
[0028]按照映射关系将一张图片拷贝到另一张图片中，实现图像拼接。
[0029]一种基于鸿蒙分布式能力的裸眼3D直播装置，其包括本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于鸿蒙分布式能力的裸眼3D直播方法，其特征在于，包括以下步骤：将具有相机能力的鸿蒙设备呈圆周形等距离等高度的放置在直播场景周围；启动各鸿蒙设备的动态链接功能，使各鸿蒙设备链接在分布式软总线中，形成超级虚拟控制终端；开启各鸿蒙设备的直播录制功能，获取多路直播视频流数据；超级虚拟控制终端控制各鸿蒙设备之间进行配对和实时图像拼接，形成直播场景的360
°
的3D立体视频流；将直播场景的360
°
的3D立体视频流通过视频传输协议传输至用户端。2.如权利要求1所述的方法，其特征在于，所述用户端包含角度控制器，用户在观看直播时，通过操控角度控制器连续切换观看直播的角度，每个角度都是以3D效果呈现在用户面前；所述角度控制器能够任意切换观看视频的角度，该角度用Ca来表示，0
°
≤Ca≤360
°
。3.如权利要求1所述的方法，其特征在于，将所述直播场景即LS简化为一个点S；各鸿蒙设备的信息形式化表述为<P，O，A>，其中：P表示鸿蒙设备相对S点的坐标位置；O表示鸿蒙设备的排列序号，O＝{o1，o2，o5……
，o
n
}，其中o
i
表示某一台鸿蒙设备排列序号为i；A表示鸿蒙设备拍摄LS的角度范围，A＝{a1，a2，
……
，a
n
}，其中a
i
是序号为i的设备能够拍摄LS的角度范围；所述超级虚拟控制终端表示为：W＝{w1，w2，
……
，w
n
}，其中w
i
表示编号为i的鸿蒙设备的CPU占据整个虚拟控制终端总CPU的比例；其中Q
i
表示第i张图片的特征点集合，表示第i张图片中的第j个特征点。4.如权利要求1所述的方法，其特征在于，所述各鸿蒙设备符合以下要求：各鸿蒙设备具有基本的相机能力，能够获取相机数据并进行数据传输；相邻的鸿蒙设备间最少有一台鸿蒙设备具备图像数据的存储能力和处理能力，以方便后期进行图像拼接处理；将直播场景LS简化为一个点S，各鸿蒙设备与S点的距离相同；各鸿蒙设备在摆放时，保证拍摄LS的角度范围存在一定程度的重合，重合的程度取决于图像拼接算法的要求；以LS中距离S点最远的距离为半径形成圆弧，将该圆弧以直线的方式展开，直线长度表示圆弧的0
°
到360
°
，每台鸿蒙设备拍摄LS角度范围都是直线上的一段距离，各角度范围之间存在重合，各角度范围覆盖0
°
到3...

【专利技术属性】
技术研发人员：武延军，赵琛，武斌，朱伟，郑森文，罗天悦，杨牧天，吴敬征，
申请(专利权)人：中国科学院软件研究所，
类型：发明
国别省市：