对多路数据进行合成的方法、服务器及音乐教学系统技术方案

本发明专利技术公开了对多路数据进行合成的方法、服务器及音乐教学系统。其中对多路数据进行合成的方法适于在服务器中执行。该方法包括下述步骤。接收多路媒体终端所发送的视频数据。每路视频数据包括一个或多个视频帧。每个视频帧包括对应其采集时间的时间戳。根据每路视频帧的时间戳，选定用于对视频帧对齐的基准时间点。根据每路视频数据的帧率，选择其中一路作为合成基准数据。从所选定的基准时间点开始，按时间顺序依次选择合成基准数据中的一个视频帧，并从其余每路视频数据中查询时间戳早于且最接近于所选择视频帧的一帧。对所选择的视频帧和所查询到的视频帧执行合成操作，以获取一种或多种码流的合成视频帧。

【技术实现步骤摘要】

本专利技术涉及通信领域，尤其涉及对多路数据进行合成的方法、服务器及音乐教学系统。
技术介绍
目前，在例如视频会议或网络直播等实时通信方案中，采集媒体数据的终端可以采集视频帧和音频帧等媒体数据，并传输到服务器。服务器在接收到媒体数据后，可以向媒体播放端传输媒体数据。另外，媒体服务器在向媒体播放端传输媒体数据之前，也可以对媒体数据进行数据处理。例如，服务器可以将来自多路采集终端的视频帧合成为画中画。例如，申请号为CN200810131309.9的专利公开了一种会议系统，包括采集终端、月艮务器和图像显示装置。采集终端可以将所采集的图像发送到服务器中。服务器可以将所接收的图像数据进行合成，然后将合成图像向图像显示装置传输。然而，在现有的数据合成方案中，通常以一路画面作为主画面，而合成画面中多个图像之间的时间关联性很低。
技术实现思路
为此，本专利技术提供一种新的对多路数据进行合成的方案，有效的解决了上面至少一个问题。根据本专利技术的一个方面，提供一种对多路数据进行合成的方法，该方法适于在服务器中执行。该方法包括下述步骤。接收多路媒体终端所发送的视频数据。所接收的每路视频数据包括一个或多个视频帧。其中每个视频帧包括对应该视频帧采集时间的时间戳。根据每路视频数据中视频帧的时间戳，选定用于对所接收的多路视频数据进行对齐的基准时间点。根据每路视频数据的帧率，选择所接收的多路视频数据中一路作为合成基准数据。从所选定的基准时间点开始，按时间顺序依次选择该合成基准数据中的一个视频帧，并从所接收的非合成基准数据的、每路视频数据中查询时间戳早于且最接近于所选择视频帧的一帧。对所选择的视频帧和所查询到的视频帧执行合成操作，以获取一种或多种码流的合成视频帧。根据本专利技术的又一个方面，提供一种对多路数据进行合成的服务器，包括接收器、基准选择器、帧率选择器和合成引擎。接收器适于接收多路媒体终端所发送的视频数据。所接收的每路视频数据包括一个或多个视频帧。其中每个视频帧包括对应该视频帧采集时间的时间戳。基准选择器适于根据每路视频数据中视频帧的时间戳，选定用于对所接收的多路视频数据进行对齐的基准时间点。帧率选择器适于根据每路视频数据的帧率，选择所接收的多路视频数据中一路作为合成基准数据。合成引擎适于从所选定的基准时间点开始，按时间顺序依次选择该合成基准数据中的一个视频帧，并从所接收的非合成基准数据的、每路视频数据中查询时间戳早于且最接近于所选择视频帧的一帧。然后，合成引擎对所选择的视频帧和所查询到的视频帧执行合成操作，以获取一种或多种码流的合成视频帧。根据本专利技术的又一个方面，提供一种音乐教学系统，包括根据本专利技术的媒体终端、服务器和媒体播放端媒体终端，适于采集视频数据和音频数据。服务器适于对从来自多路媒体终端的媒体数据进行合成。媒体播放设备适于从服务器获取合成视频帧和/或合成音频帧。根据本专利技术的对多路数据进行合成的方案，在接收来自多路媒体终端的视频帧时，可以根据视频帧的采集时间，对视频帧依次执行对齐操作，进而将经过对齐的视频帧合成为一路视频帧。特别是，根据本专利技术的合成方案使得合成视频帧中各部分画面具有较高的时间同步性。这样，根据本专利技术的媒体播放设备可以通过接收一路合成视频帧，实现对多路媒体终端所采集图像的同步直播。需要说明的是，根据本专利技术的合成方案对于在线音乐教学等流媒体直播系统而言，可以极大提高系统性能。另外，根据本专利技术的合成方案还可以根据期望的码流，生成多种码流的合成视频帧。这样，根据本专利技术的媒体服务器可以向媒体播放设备传输与当前网速匹配的视频帧码流，从而保证数据传输的高实时性，以进一步提高直播系统的性能。【附图说明】为了实现上述以及相关目的，本文结合下面的描述和附图来描述某些说明性方面，这些方面指示了可以实践本文所公开的原理的各种方式，并且所有方面及其等效方面旨在落入所要求保护的主题的范围内。通过结合附图阅读下面的详细描述，本公开的上述以及其它目的、特征和优势将变得更加明显。遍及本公开，相同的附图标记通常指代相同的部件或元素。图1示出了根据本专利技术一个示例性音乐教学系统100的框图；图2示出了根据本专利技术一些实施例的对多路数据进行合成的服务器200的框图；图3示出了根据本专利技术一些实施例的对多路数据进行合成的方法300的流程图；以及图4示出了根据本专利技术一些实施例的对多路数据进行合成的方法400的流程图。【具体实施方式】下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。图1示出了根据本专利技术一个示例性音乐教学系统100的框图。如图1所示，音乐教学系统100可以包括多个学生客户端110、服务器120和老师客户端130。在音乐教学系统100中，学生客户端110和老师客户端130通过服务器120进行实时通信，以便进行在线音乐教学。例如，在学生进行演奏时，学生客户端110可以被实现为媒体终端，采集与学生演奏相关的诸如视频和音频等媒体数据，并通过服务器120向老师客户端130传输这些媒体数据。老师客户端130可以被实现为媒体播放设备，接收并播放媒体数据，以便老师实时了解学生的演奏情况。同时，老师客户端130也可以被实现为媒体终端，采集老师对学生演奏的反馈指导或者教学演示等内容的媒体数据，并通过服务器120向学生客户端传输。学生客户端110可以被实现为媒体播放设备，接收并播放来自老师客户端130的媒体数据，以便老师对学生演奏进行实时反馈，或者实时地对学生进行教学演示。总之，学生客户端110和老师客户端130都可以被实现为媒体终端或媒体播放设备。为了简化描述，下文中不再区分媒体终端和媒体播放设备的具体类型。这里，媒体数据例如包括演奏乐器的指法、气息、乐器声音和指导文案等教学内容，但不限于此。通常，音乐教学系统对实时性和同步性等方面有较高的要求。本专利技术针对音乐教学系统的服务器环节，提出了一种新的数据合成方案。下面结合图2对音乐教学系统中的服务器进行进一步的示例性说明。需要说明的是，根据本专利技术的服务器可以被应用在音乐教学系统中，但并不限于此。例如，根据本专利技术的服务器也可以应用在例如视频会议、比赛直播等实时流媒体方案中。图2示出了根据本专利技术一些实施例的对多路数据进行合成的服务器200的框图。月艮务器200可以对来自一个或多个媒体终端的媒体数据进行数据处理，并且将经过处理的数据传输到一个或多个媒体播放设备。虽然服务器200被描绘成单个实体，但是服务器200的功能可以分散在多个计算设备、计算集群或数据中心中，并且服务器200的组件可以驻留在多个地理位置中。服务器200包括接收器210、基准选择器220、帧率选择器当前第1页1 2 3 4 本文档来自技高网...

【技术保护点】
一种对多路数据进行合成的方法，该方法适于在服务器中执行，该方法包括：接收多路媒体终端所发送的视频数据，所接收的每路视频数据包括一个或多个视频帧，其中每个视频帧包括对应该视频帧采集时间的时间戳；根据每路视频数据中视频帧的时间戳，选定用于对所接收的多路视频数据进行对齐的基准时间点；根据每路视频数据的帧率，选择所接收的多路视频数据中一路作为合成基准数据；从所选定的基准时间点开始，按时间顺序依次选择该合成基准数据中的一个视频帧，并从所接收的非合成基准数据的、每路视频数据中查询时间戳早于且最接近于所选择视频帧的一帧；以及对所选择的视频帧和所查询到的视频帧执行合成操作，以获取一种或多种码流的合成视频帧。

【技术特征摘要】

【专利技术属性】
技术研发人员：刘军，
申请(专利权)人：刘军，
类型：发明
国别省市：上海;31