System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 直播画面的输出方法、装置、计算机设备及可读存储介质制造方法及图纸_技高网

直播画面的输出方法、装置、计算机设备及可读存储介质制造方法及图纸

技术编号:41232711 阅读:2 留言:0更新日期:2024-05-09 23:48
本申请公开了一种直播画面的输出方法、装置、计算机设备及可读存储介质,涉及视觉处理技术领域,基于双摄像头不仅采集到全景画面,且进行特写拍摄,展示的内容更加多样,使用户更加细致的了解直播内容。所述方法包括:响应于直播开始指令,基于主摄像头和副摄像头对当前直播场景进行实时图像采集,获取主摄像头采集到的主视频流;确定待特写对象,对主视频流进行图像识别,确定待特写对象的对象框在主视频流上的对象框坐标;根据对象框坐标,调整副摄像头的拍摄角度,控制副摄像头面向待特写对象并对待特写对象进行图像采集,得到辅视频流;在主视频流的图像画面中确定画中画特写区域,将辅视频流的图像画面投影至画中画特写区域,得到直播画面。

【技术实现步骤摘要】

本申请涉及视觉处理,特别是涉及一种直播画面的输出方法、装置、计算机设备及可读存储介质


技术介绍

1、当今的网络直播技术随着自媒体的广泛深入日趋成熟,网络直播平台也成为了一种崭新的社交媒体。网络直播技术主要分为实时直播游戏、电影或电视剧等,目前网络直播平台不下百余家,其中最有名气的也有数十家,可谓是百花齐放。

2、相关技术中,在一些购物直播场景中,主播端的主播使用手机、电脑等终端设备上开播进行产品的介绍,终端设备会将直播形成的视频流上传到直播服务器上,由直播服务器将视频流输入给各个观众端进行播放,使观众端的用户能够看到直播画面。但是申请人认识到,主播端输出的直播画面通常是二维、单个机位的画面,直播画面展示的内容单一,且提供的信息量有限,导致观看直播的用户难以通过主播端输出的直播画面细致的了解商品。


技术实现思路

1、有鉴于此,本申请提供了一种直播画面的输出方法、装置、计算机设备及可读存储介质,主要目的在于解决目前主播端输出的直播画面通常是二维、单个机位的画面,直播画面展示的内容单一,且提供的信息量有限,导致观看直播的用户难以通过主播端输出的直播画面细致的了解商品。

2、依据本申请第一方面,提供了一种直播画面的输出方法,该方法包括:

3、响应于直播开始指令,基于主摄像头和副摄像头对当前直播场景进行实时图像采集,获取所述主摄像头采集到的主视频流;

4、确定待特写对象,对所述主视频流进行图像识别,确定所述待特写对象的对象框在所述主视频流上的对象框坐标;

5、根据所述对象框坐标,调整所述副摄像头的拍摄角度,控制所述副摄像头面向所述待特写对象并对所述待特写对象进行图像采集,得到辅视频流;

6、在所述主视频流的图像画面中确定画中画特写区域,将所述辅视频流的图像画面投影至所述画中画特写区域,得到直播画面。

7、可选地,所述确定待特写对象,以及对所述主视频流进行图像识别,确定所述待特写对象的对象框在所述主视频流上的对象框坐标,包括:

8、获取预设的直播参数,将所述直播参数指定的直播时特写的对象作为所述待特写对象,所述待特写对象是主播或商品中的任一个;

9、当所述待特写对象是主播时,对所述主播进行人体识别,得到所述对象框,以及读取所述对象框在所述主视频流上的坐标作为所述对象框坐标;

10、当所述待特写对象是商品时,根据所述商品的轮廓构建所述对象框,以及读取所述对象框在所述主视频流上的坐标作为所述对象框坐标。

11、可选地,所述对所述主播进行人体识别,得到所述对象框,包括:

12、对所述主视频流进行下采样处理,得到下采样处理后的所述主视频流;

13、利用人体检测模型对处理后的所述主视频流进行图像识别,在所述主视频流中确定多个人体关键点和所述待特写对象的对象框。

14、可选地,所述根据所述商品的轮廓构建所述对象框,包括:

15、对所述主视频流进行下采样处理,得到下采样处理后的所述主视频流;

16、在处理后的所述主视频流中识别商品,将所述商品作为所述待特写对象,所述商品粘贴有商品标识码或与主播上传的商品图片一致;

17、识别所述待特写对象的轮廓,按照所述轮廓构建所述待特写对象的对象框。

18、可选地,所述根据所述对象框坐标,调整所述副摄像头的拍摄角度,控制所述副摄像头面向所述待特写对象并对所述待特写对象进行图像采集,得到辅视频流,包括:

19、以所述对象框坐标为基准,控制所述副摄像头向所述待特写对象的方向进行转动,调整所述副摄像头的拍摄角度;

20、在控制所述副摄像头进行转动的同时,控制所述副摄像头利用对象检测模型进行对象标识点检测,所述对象标识点是人体头部或商品中心点;

21、当基于所述副摄像头检测到所述对象标识点时,持续获取所述对象标识点在所述副摄像头当前采集到的图像中的标识点坐标;

22、以所述标识点坐标为基准,持续计算所述对象框与所述副摄像头的摄像头视觉中心之间的位置偏移量;

23、根据所述位置偏移量继续控制所述副摄像头进行转动,直至所述位置偏移量小于偏移量阈值,停止转动,以使所述副摄像头面向所述待特写对象;

24、控制所述副摄像头对当前所面向的方向进行图像采集,得到所述辅视频流。

25、可选地,所述以所述标识点坐标为基准,持续计算所述对象框与所述副摄像头的摄像头视觉中心之间的位置偏移量,包括:

26、读取所述摄像头视觉中心的视觉中心坐标,计算所述标识点坐标与所述视觉中心坐标之间的欧式距离;

27、以所述摄像头视觉中心为中心点构建摄像头视觉框,计算所述摄像头视觉框与所述对象框之间的交并比;

28、查询所述欧式距离对应的第一权重值和所述交并比对应的第二权重值,利用所述第一权重值和所述第二权重值对所述欧式距离和所述交并比进行加权计算,将得到的计算结果作为所述对象框与所述副摄像头的摄像头视觉中心之间的位置偏移量。

29、可选地,所述在所述主视频流的图像画面中确定画中画特写区域,将所述辅视频流的图像画面投影至所述画中画特写区域,得到直播画面,包括:

30、检测所述主视频流的图像画面中是否存在可投影区域;

31、当检测到所述主视频流的图像画面中存在所述可投影区域时,利用所述可投影区域形成画中画区域,在所述主视频流中将所述辅视频流投影在所述画中画特写区域中进行播放,得到所述直播画面;

32、当检测到所述主视频流的图像画面中不存在所述可投影区域时,在所述主视频流的图像画面中选取目标子窗口作为所述画中画区域,在所述主视频流中将所述辅视频流投影在所述画中画特写区域中进行播放,得到所述直播画面。

33、可选地,所述利用所述可投影区域形成画中画区域,包括:

34、运用图像分割模型在所述主视频流的图像画面中识别预设颜色的多边形区域,将所述多边形区域作为所述可投影区域,生成面积与所述可投影区域的面积一致的图像蒙版,以及将所述图像蒙版叠加在所述可投影区域上形成画中画特写区域;或,

35、在所述主视频流的图像画面中识别增强现实技术ar标识码,将所述ar标识码覆盖的区域作为所述可投影区域,生成面积与所述可投影区域的面积一致的图像蒙版,将所述图像蒙版叠加在所述可投影区域上形成画中画特写区域。

36、可选地,所述在所述主视频流的图像画面中选取目标子窗口作为所述画中画区域,包括:

37、在所述主视频流中读取主播的主播坐标和商品的商品坐标;

38、根据所述主播坐标和所述商品坐标,在所述主视频流中划分一包括所述主播和所述商品的待展示区域;

39、在所述主视频流的图像画面上设置指定数量的子窗口,分别计算每个子窗口与所述待展示区域之间的交并比;

40、在所述指定数量的子窗口中选取与所述待展示区域的交本文档来自技高网...

【技术保护点】

1.一种直播画面的输出方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述确定待特写对象,以及对所述主视频流进行图像识别,确定所述待特写对象的对象框在所述主视频流上的对象框坐标,包括:

3.根据权利要求2所述的方法,其特征在于,所述对所述主播进行人体识别,得到所述对象框,包括:

4.根据权利要求2所述的方法,其特征在于,所述根据所述商品的轮廓构建所述对象框,包括:

5.根据权利要求1所述的方法,其特征在于,所述根据所述对象框坐标,调整所述副摄像头的拍摄角度,控制所述副摄像头面向所述待特写对象并对所述待特写对象进行图像采集,得到辅视频流,包括:

6.根据权利要求5所述的方法,其特征在于,所述以所述标识点坐标为基准,持续计算所述对象框与所述副摄像头的摄像头视觉中心之间的位置偏移量,包括:

7.根据权利要求1所述的方法,其特征在于,所述在所述主视频流的图像画面中确定画中画特写区域,将所述辅视频流的图像画面投影至所述画中画特写区域,得到直播画面,包括:

8.一种直播画面的输出装置,其特征在于,包括:

9.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。

10.一种可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。

...

【技术特征摘要】

1.一种直播画面的输出方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述确定待特写对象,以及对所述主视频流进行图像识别,确定所述待特写对象的对象框在所述主视频流上的对象框坐标,包括:

3.根据权利要求2所述的方法,其特征在于,所述对所述主播进行人体识别,得到所述对象框,包括:

4.根据权利要求2所述的方法,其特征在于,所述根据所述商品的轮廓构建所述对象框,包括:

5.根据权利要求1所述的方法,其特征在于,所述根据所述对象框坐标,调整所述副摄像头的拍摄角度,控制所述副摄像头面向所述待特写对象并对所述待特写对象进行图像采集,得到辅视频流,包括:

6.根据权利要求5所述的方法,...

【专利技术属性】
技术研发人员:廖鑫肖兵李涛黄昌松
申请(专利权)人:珠海视熙科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1