智能多媒体处理方法和系统技术方案

本公开的实施例旨在提供一种多媒体数据的处理方法和系统。根据本公开的一个方面，提供了一种多媒体数据的处理方法，包括：生成注释文本；以及将所述注释文本与所述多媒体数据中的相应分区进行关联。通过使用根据本公开的实施例的处理方法和系统，例如可以有效地提供多媒体数据的搜索效率。

【技术实现步骤摘要】

本公开的实施例涉及数据处理，更具体而言，涉及智能多媒体处理系统。
技术介绍
近年来，随着信息技术的技术进步，产生了越来越多的多媒体数据，例如，人们越来越多的使用智能手机、相机、录音笔或摄像机来记录日常工作生活中出现的事情，这导致产生的数据量呈几何级增加。然而，对于所产生的数据，尤其是多媒体数据，缺少一种高效搜索方法来对其进行搜索来快速找到感兴趣的内容，例如视频或音频中某一段的视频或音频。通常的搜索方法是根据拍摄时间或是文件名称进行搜索，有时候甚至不得不去遍历所有的视频或音频内容来寻找特定的视频或音频片段。这对于时间要求不紧迫的生活事件而言，尚可以接受。然而，对于一些特定的工作应用而言，这常常不能满足效率要求。例如，当客户的设备出现问题时，现场技术工程师通常会拍摄或记录现场观察的情况，这也会产生较大的数据量。后方工程师如果没有高效的搜索方法则不得不去浏览所有的多媒体数据资料，这对于现场需要尽快解决技术问题的情形通常不可接受。因此，需要一种智能多媒体数据处理系统，其能够对多媒体数据进行快速定位或高效搜索。
技术实现思路
本公开的实施例旨在提供一种多媒体数据的处理方法和系统。根据本公开的一个方面，提供了一种多媒体数据的处理方法，
包括：生成注释文本；以及将所述注释文本与所述多媒体数据中的相应分区进行关联。根据本公开的另一方面，提供了一种多媒体数据处理系统，包括：文本生成装置，被配置成生成注释文本；以及关联装置，被配置成将所述注释文本与所述多媒体数据中的相应分区进行关联。根据本公开的又一方面，提供了一种存储在非瞬态计算机可读存储介质上的用于多媒体数据处理的计算机程序产品，包括：第一程序指令，用于生成注释文本；以及第二程序指令，用于将所述注释文本中与所述多媒体数据中的相应分区进行关联。通过使用根据本公开的一些实施例，可以获得相应的有益效果，例如，可以提高多媒体数据的搜索和定位效率。附图说明参考如下附图和描述可以更好地理解本公开。图中的部件并不必须按比例，相反，重点放在了图示本公开的原理上。此外，在图中，相同的参考号指代对应的部分。在附图中：图1是根据本公开的一个实施例的多媒体数据的处理方法的流程图；图2是根据本公开的一个实施例的视频分区和注释文本的示意图；以及图3是根据本公开的一个实施例的多媒体数据的处理系统的框图。具体实施方式在下文描述中阐述某些具体细节以便提供对本公开的主题内容的各种方面的透彻理解。然而在不具有这些具体细节的情形下仍然可以实现本公开的主题内容。在一些实例中，暂不具体描述形成与智能多媒体处理方法和系统相关联的公知结构和方法，以免模糊对本公开内容的其它方面的描述。除非上下文另有要求，否则在说明书和所附权利要求书全文中，词语“包括”将解释成开放式包含意义，也就是说，解释为“包括但不限于”。在本说明书全文中引用“一个实施例”或者“实施例”意味着结合该实施例描述的特定特征、结构或者特性包含于至少一个实施例中。因此，在本说明书全文中各处出现表达“在一个实施例中”或者“在实施例中”未必都是指相同方面。另外，可以在本公开内容的一个或者多个方面中以任何适当方式组合特定特征、结构或者特性。现在参见图1，图1示出了根据本公开的多媒体数据的处理方法的一个实施例。在图1的实施例中，在101处，生成注释文本，以及在102处，将注释文本与多媒体数据的相应分区相关联。本领域技术人员可以理解，多媒体数据包括至少一个分区。图2示出了根据本公开的一个实施例的视频分区和注释文本的示意图。现在结合图1和图2来描述根据本公开的一个示例。在本公开的实施例中，多媒体数据可以是视频数据、音频数据、图像数据和文本数据之一。例如，视频数据是可以采用诸如MP4、AVI、MKV、RM、RMVB、WMV、M4V、VIDX、XVID、ASF等各种编码格式编码的视频数据。音频数据可以是诸如AAC、MP3、WMA、AMR、FLAC、APE等之类的音频数据。图像数据可以是RAW、BMP、PCX、TIFF、GIF、JPEG、PNG等之类的图像数据。文本数据可以是诸如Microsoft系列的文本数据、txt文本数据等之类的文本数据。注释文本可以包括各种信息，其中各种信息项可以由人员手动添加或者通过技术方式自动添加。例如，当多媒体数据为视频或音频数据时，注释本文可以包括指示视频或音频的起始时间和结束时间的信息。此外，当视频或音频数据由多个视频或音频数据分区组成时，注释文本可以包括指示相应分区的起始时间和结束时间的信息。例如，参见图2，图2中的
原始视频流包含多个分区201、202和203。该原始视频流诸如是现场技术支持工程师拍摄的视频。拍摄可以在时间上并不连续。每次连续拍摄的视频可以构成一个分区，而多个连续拍摄的视频组合构成原始视频流。在另外的示例中，可以由不同的视频或音频组合构成原始多媒体流，例如分区201可以为视频流第一分区，分区202可以为音频流第二分区，以及分区203可以是视频流第三分区，其中第一分区201是现场支持工程师拍摄的诸如客户服务器故障设备的现场视频，第二分区202是后端技术工程师的故障分析音频，而第三分区203是技术主管的指示如何处理的视频。本领域技术人员可以理解，也可以具有其它分区组合方式，例如图像和音频构成单个分区，其中当播放图像时，音频也被播放。在另一示例中，文本和音频数据构成单个分区，当显示文本数据时，音频也被播放。在另一示例中，音频构成单个分区，当播放音频数据时，可以显示默认图像数据，例如纯黑背景图像。在图2示出的示例中，第一注释文本211与第一分区201相关联。在第一注释文本211中，记载了第一分区201的开始时间00:00和结束时间01:00。如上所述，第一分区201是现场支持工程师拍摄的诸如客户服务器故障设备的现场视频，该视频持续1分钟。本领域技术人员可以理解，视频持续时间在此并未限制，可以有其它的持续时间，并且具有相应的开始时间和结束时间。本领域技术人员可以理解，视频或音频流的开始时间和结束时间可以手动添加或是自动添加。本领域技术人员可以理解，在仅包括图像和文本数据的非流媒体的多媒体数据的情形中，注释文本可以不具有开始时间和结束时间的信息项。此外，注释文本还可以包括关于重要性的信息项。例如，在图2的示例中，该第一分区201的视频重要性为1，第二分区202的视频重要性为3，第三分区203的视频重要性为2。可以理解，对于日趋海量的多媒体数据而言，有必要对多媒体数据进行重要性分级，使
得在浏览多媒体时，可以根据重要性级别对多媒体数据进行筛选。例如对于上述的客户服务器故障的情形而言，在没有现场工程师时，客户自行拍摄现场视频可能会拍摄多段视频(多个视频分区)，这其中的大部分对于解决问题而言无足轻重，后端技术支持工程师可以对客户拍摄的视频进行重要性级别进行分级，使得技术主管在需要时可以仅浏览特定重要性级别的多媒体数据。本领域技术人员可以理解，按数字对重要性进行分类仅是示例，可以有其它分类方法，例如按“不重要”、“重要”、“非常重要”等进行分级。本领域技术人员可以理解，关于重要性的信息项可以手动添加或是自动添加。注释文本还可以包括关于安全级别的信息项。例如，在图2的示例中，该第一分区201的视频安全本文档来自技高网...

【技术保护点】
一种多媒体数据的处理方法，包括：生成注释文本；以及将所述注释文本与所述多媒体数据中的相应分区进行关联。

【技术特征摘要】
1.一种多媒体数据的处理方法，包括：生成注释文本；以及将所述注释文本与所述多媒体数据中的相应分区进行关联。2.根据权利要求1所述的处理方法，其中所述注释文本包括指示相应分区的起始时间和结束时间的信息。3.根据权利要求1所述的处理方法，其中所述注释文本包括指示所述多媒体数据的关键字、内容描述、重要性级别、分类信息、主要颜色、角色属性、热度图、关键区域、安全级别和地理位置中的至少一项的信息。4.根据权利要求1所述的处理方法，其中所述多媒体数据是视频数据、音频数据、图像数据和文本数据之一。5.根据权利要求4所述的处理方法，其中当所述多媒体数据是视频数据或图像数据时，使用光学字符识别技术来识别视频帧或图像中的字符，以及基于识别出的字符来生成注释文本。6.根据权利要求4所述的处理方法，其中当所述多媒体数据是音频数据时，使用语音识别技术来识别音频中的文字，以及基于识别出的文字来生成注释文本。7.根据权利要求1所述的处理方法，其中所述注释文本包括指示播放时的显示位置和显示格式中至少一项的信息。8.根据权利要求1所述的处理方法，还包括：对所述注释文本进行检索；以及根据检索结果呈现所述多媒体数据的相应分区。9.根据权利要求8所述的处理方法，其中对所述注释文本进行检索包括：根据关键字、内容描述、重要性级别、分类信息、主要颜色、角色属性、热度图、关键区域、安全级别和地理位置中的至少一项进行检索。10.根据权利要求8所述的处理方法，其中对所述注释文本进行检索是仅检索所述注释文本中符合安全级别的注释文本。11.根据权利要求8所述的处理方法，其中根据检索结果呈现所述多媒体数据的相应分区是仅呈现...

【专利技术属性】
技术研发人员：吴佳玮，陈超，陆明刚，徐硕，刘晶晶，
申请(专利权)人：伊姆西公司，
类型：发明
国别省市：美国;US