显示控制系统及显示控制方法技术方案

显示控制系统对表演者所在的实际空间的影像进行直播发布，获取所述实际空间的三维位置信息，检测用户用于向所述表演者赠送礼品的用户动作，基于所述获取的三维位置信息和所述检测到的用户动作的用户动作信息，计算出在所述实际空间上应配置所述礼品的礼品位置，并以所述表演者能够识别的方式将计算出的所述礼品位置显示在所述实际空间上。

Display Control System and Display Control Method

【技术实现步骤摘要】
【国外来华专利技术】显示控制系统及显示控制方法
本专利技术涉及进行直播发布的显示控制系统及显示控制方法。
技术介绍
专利文献1等中记载了发布内容的服务器。现有技术文献专利文献专利文献1：日本专利第5530557号公报
技术实现思路
根据本专利技术的一个方式，提供一种显示控制系统，包括：显示装置控制部，其使表演者所在的实际空间的影像作为直播发布的对象而显示在显示装置中；获取部，其获取所述实际空间的三维位置信息；检测部，其检测用户用于向所述表演者赠送礼品的用户动作；和礼品显示控制部，其基于所述获取部获取的三维位置信息和所述检测部检测到的用户动作的用户动作信息，计算出在所述实际空间上应配置所述礼品的礼品位置，并以所述表演者能够识别的方式将算出的所述礼品位置显示在所述实际空间上。根据本专利技术的其他方式，提供一种显示控制方法，其直播发布表演者所在的实际空间的影像，获取所述实际空间的三维位置信息，检测用户用于向所述表演者赠送礼品的用户动作，并基于所述获取的三维位置信息和所述检测到的用户动作的用户动作信息计算出在所述实际空间上应配置所述礼品的礼品位置，并且以所述表演者能够识别的方式将算出的所述礼品位置显示在所述实际空间上。附图说明图1是表示直播发布系统的整体构成的图。图2是服务器和用户终端的框图。图3的(a)是表示直播发布处理的流程图，(b)是表示直播发布时的用户终端的显示画面的图。图4是由用户进行的礼品和表演者选择处理的流程图。图5的(a)是表示选择礼品时的用户终端的显示画面的图，(b)是表示选择表演者时的用户终端的显示画面的图，(c)是表示选择了礼品和表演者时的用户终端的显示画面的图，(d)是表示选择了礼品和表演者时的演播室显示器的显示画面的图，(e)是表示用户做出投出礼品的动作时的用户终端及演播室显示器的显示画面的图。图6是表示表演者获取该礼品的获取处理的流程图。图7的(a)是表示表演者拾取猫耳发箍礼品时的用户终端及演播室显示器的显示画面的图，(b)是表示表演者佩戴发箍礼品时的用户终端及演播室显示器的显示画面的图，(c)是表示表演者面朝侧面时的用户终端及演播室显示器的显示画面的图。图8是从表演者向用户的回礼处理的流程图。图9的(a)是表示表演者手持回礼的签名球时的用户终端及演播室显示器的显示画面的图，(b)是表示表演者投出签名球时的用户终端及演播室显示器的显示画面的图，(c)是表示用户接受签名球时的用户终端及演播室显示器的显示画面的图。图10的(a)是表示对表演者添加了特效时的用户终端及演播室显示器的显示画面的图，(b)是表示用户做出投出礼品的动作时的用户终端及演播室显示器的显示画面的图，(c)是表示表演者接受礼品时的用户终端及演播室显示器的显示画面的图，(d)是表示在背景图像上显示有塔时的用户终端及演播室显示器的显示画面的图。具体实施方式以下，使用图1～图10，参照附图对适用了本专利技术的直播发布系统进行说明。〔直播发布系统的概要〕如图1所示，直播发布系统1具备：实地进行现场演奏等表演的演播室10、直播发布在演播室10获取的内容数据的服务器20、和收看由服务器20发布的内容数据的用户终端40、60、70。服务器20和用户终端40、60、70经由网络2连接。另外，用户终端的数量不限于此处示出的2台，也可以是1台，还可以是数十台或数百台。作为一例，在演播室10内的实际空间，作为被摄体的3个表演者A、B、C在台上演奏并演唱乐曲。当然，表演者的人数不限定于3人，也可以是1人或2人，还可以是4人以上。此外，表演者A、B、C既可以是1个乐队等组合，也可以是聚集在一起的分别独立工作的表演者A、B、C。在演播室10具备播放装置11、扬声器12、麦克风13、RGB摄像头14、深度摄像头15、投影仪16和演播室显示器17。播放装置11再现演奏的乐曲数据，将基于乐曲数据的乐曲从与播放装置11连接的扬声器12播放出去。各表演者A、B、C持有麦克风13，麦克风13收录表演者A、B、C的声音。作为一例，RGB摄像头14在直播发布系统1中为第1摄像头。RGB摄像头14是具有动态图像拍摄功能的数码摄像头。作为一例，RGB摄像头14为摄像机。作为一例，RGB摄像头14为显示数据生成用摄像头等。RGB摄像头14是拍摄表演者A、B、C进行演奏的实际空间的摄像机。RGB摄像头14作为一例，具备CCD和/或CMOS等拍摄元件，检测可见光等光，并输出由3色(红、绿、蓝)的彩色信号构成的显示数据。作为一例，RGB摄像头14拍摄表演者A、B、C等被摄体，并输出能够在用户终端40、60、70等显示部中显示拍摄到的被摄体的观赏用数据作为显示数据。此外，作为一例，RGB摄像头14作为显示数据而输出拍摄数据，以显示在演播室显示器17中。而且，作为一例，RGB摄像头14作为显示数据输出显示在大型显示装置中的影像数据，其中大型显示装置设置于用户A、B、C所在的公共场所、直播会场或演奏厅并具备大屏幕。另外，RGB摄像头14并非必须是摄像机，也可以是例如具备动态图像拍摄功能的智能设备终端。该情况下，能够通过将智能设备终端固定在三脚架等上而发挥与摄像机同样的作用。作为一例，深度摄像头15在直播发布系统1中为第2摄像头。作为一例，深度摄像头15为红外线摄像头。作为一例，深度摄像头15是三维位置信息获取用摄像头。深度摄像头15获取自身至被摄体的距离即深度信息等。深度摄像头15作为一例，为获取与成为被摄体的表演者A、B、C等的距离即深度信息等的获取部。作为一例，深度摄像头15分别获取至作为被摄体的一部分的表演者A的距离(深度信息)、至作为被摄体的一部分的表演者B的距离(深度信息)、及至作为被摄体的一部分的表演者C的距离(深度信息)。作为一例，深度摄像头15获取至作为被摄体的一部分的演播室的各点的距离即深度信息等。作为一例，深度摄像头15获取作为被摄体的、包括表演者A、B及C和演播室在内的实际空间的三维位置信息。深度摄像头15具备照射红外线的投光部和检测红外线的红外线检测部。深度摄像头15作为一例，根据至从投光部照射的红外线脉冲反射回来为止的时间来获取实际空间的深度信息等三维位置信息。另外，RGB摄像头14和深度摄像头15既可以是一体的装置，也可以是分体的装置。作为一例，投影仪16采用投影映射技术等手法在舞台上显示赠与表演者A、B、C的礼物即礼品的物像。演播室显示器17是配置于实际空间即演播室10并显示影像的显示装置，作为一例，主要是以表演者A、B、C能够视觉识别的方式设置于舞台前方的显示装置。演播室显示器17作为一例为平面显示器，为LCD显示装置、有机EL显示装置。并且，演播室显示器17显示由RGB摄像头14拍摄到的表演者A、B、C的表演的影像。服务器20生成作为由表演者A、B、C演奏的内容数据的直播数据。作为一例，服务器20基于来自播放装置11的乐曲数据、来自麦克风13的声音数据、来自RGB摄像头14的影像数据等各种数据，生成用于对用户终端40、60、70发布的由表演者A、B、C进行的表演的直播数据，并对用户终端40、60、70直播发布直播数据。即，服务器20向用户终端40、60、70实况转播表演者A、B、C进行的表演。另外，表演者A、B、C进行的表演也可以不通过播放装置11对伴奏进行再现，而是由表本文档来自技高网...

【技术保护点】
1.一种显示控制系统，其特征在于，具备：显示装置控制部，其使表演者所在的实际空间的影像作为直播发布的对象而显示在显示装置中；获取部，其获取所述实际空间的三维位置信息；检测部，其检测用户用于向所述表演者赠送礼品的用户动作；和礼品显示控制部，其基于所述获取部获取的三维位置信息和所述检测部检测到的用户动作的用户动作信息，计算出在所述实际空间上应配置所述礼品的礼品位置，并以所述表演者能够识别的方式将计算出的所述礼品位置显示在所述实际空间上。

【技术特征摘要】
【国外来华专利技术】1.一种显示控制系统，其特征在于，具备：显示装置控制部，其使表演者所在的实际空间的影像作为直播发布的对象而显示在显示装置中；获取部，其获取所述实际空间的三维位置信息；检测部，其检测用户用于向所述表演者赠送礼品的用户动作；和礼品显示控制部，其基于所述获取部获取的三维位置信息和所述检测部检测到的用户动作的用户动作信息，计算出在所述实际空间上应配置所述礼品的礼品位置，并以所述表演者能够识别的方式将计算出的所述礼品位置显示在所述实际空间上。2.如权利要求1所述的显示控制系统，其特征在于，所述用户动作通过所述用户所保持的智能设备终端而被检测。3.如权利要求2所述的显示控制系统，其特征在于，所述用户动作是所述用户投出物体的动作。4.如权利要求3所述的显示控制系统，其特征在于，所述用户动作信息是所述用户的动作数据。5.如权利要求1～4中任一项所述的显示控制系统，其特征在于，所述显示装置控制部计算出在所述影像中应配置与所述礼品位置对应的礼品物像的礼品物像位置，并使所述影像和所述礼品物像以所述礼品物像显示在所述礼品物像位置的方式显示在显示装置中。6.如权利要求5所述的显示控制系统，其特征在于，所述显示装置控制部使所述礼品物像相对于所述影像实时地显示。7.如权利要求5或6所述的显示控制系统，其特征在于，在所述检测部判定为所述表演者位于由所述用户向所述表演者赠送的所述礼品的范围内的情况下，所述显示装...

【专利技术属性】
技术研发人员：细见幸司，栗山孝司，胜俣祐辉，出口和明，志茂谕，
申请(专利权)人：株式会社尼康，
类型：发明
国别省市：日本,JP