增强包括相机记录的媒体记录制造技术

提供了用于增强包括场景的相机记录的媒体记录的系统和方法，其中场景包括显示视觉内容的屏幕。在相机记录中，如在屏幕上显示的视觉内容通常具有欠佳的质量。通过分析相机记录、访问视觉内容的原始版本、并且在相机记录中将在屏幕上显示的视觉内容替换为视觉内容的原始版本，获得了增强媒体记录。即，在增强媒体记录中，避免了视觉内容的“数字到光到数字”转换，这是视觉内容在相机记录中具有欠佳质量的至少一个原因。

Enhancement of media records including camera records

A system and method for enhancing the media record of a camera record including a scene, wherein the scene includes a screen showing the visual content. In camera records, the visual content, as displayed on the screen, is usually of poor quality. By analyzing the original version of the camera record and accessing the visual content, and replacing the visual content displayed on the screen into the original version of visual content in the camera record, we get the enhanced media record. That is to say, in enhancing media record, it avoids the conversion of visual content from \digital to digital to light\, which is at least one reason why visual content has poor quality in camera record.

【技术实现步骤摘要】
【国外来华专利技术】增强包括相机记录的媒体记录
本专利技术涉及用于增强媒体记录的系统和方法。本专利技术还涉及用于在系统中使用的发送器设备或接收器设备。本专利技术还涉及包括用于使得处理器系统执行该方法的指令的计算机程序产品。
技术介绍
由于数字相机和屏幕的普遍性，可能经常发生的是场景的相机记录包括显示作为相机记录的部分的视觉内容的屏幕。这可能巧合地发生。例如，当利用数字视频相机在某人的客厅中记录家庭视频时，可能存在在背景中播出电视节目的电视。因此，家庭视频可以包括在记录时在电视上播放的电视和视觉内容的相机记录。媒体记录还可以更结构地包括显示视觉内容的屏幕的相机记录。在此并且在下文中，术语“屏幕”指代诸如被包括在电视、监视器、平板设备、智能电话等中的那些的显示器，包括二维、三维、光场和全息显示器，而且还指代投影屏幕和可以在其上再现视觉内容的其他类型的表面，以及指代视觉内容的其他类型的视觉再现。可以在视频会议系统和移动视频通信应用（例如Skype、Lync、WebRTC、FaceTime）的领域中找到显示视觉内容的屏幕的更结构记录的非限制性示例，其允许远程定位的人通过经由麦克风记录音频并经由相机记录视频并且将结果所得的媒体记录发送到参与方而具有实时的对话。最初，视频会议系统专注于仅记录参与对话的人，因为人通常将坐在相机前面。相机记录技术的进步（诸如增加的分辨率和更大的视角）使得有可能记录远远超过仅记录人；相机还可以记录他/她的环境，诸如客厅或办公室隔间，包括可能存在的任何屏幕，诸如正在示出电视内容的电视屏幕或者正在示出视觉媒体的平板设备。此外，视频会议技术越来越多地用于非中介的共享体验，其中参与者使用视频会议来共享他们的活动和环境，以供其他人看和加入。例如，在社交电视体验中，参与者将分享他们观看电视内容项目的体验，从而使得其他人能够看到他们的房间和他们的电视屏幕。作为另一个示例，用户还可以故意地记录他们的电视屏幕，以便对正在显示的内容进行评论并与其他用户共享结果所得的记录。因此，现今的相机记录经常包括显示视觉内容的屏幕。然而，明显的缺点在于，在这种相机记录中，在记录中通常欠佳地表示在屏幕上显示的视觉内容；场景的其他部分通常看起来更好，或者甚至好得多。可能存在针对此的各种原因，包括但不限于：-相机的传感器光栅（raster）与屏幕光栅之间的干扰，从而造成莫尔效应（空间干扰）；-屏幕上的视觉内容的刷新速率与相机的采样速率之间的不匹配（时间干扰）；-场景和照明条件的动态范围（在室内时，屏幕通常比环境亮得多，这导致过度曝光，在大白天在室外时，可能发生相反情况，即曝光不足）；-相机相对于屏幕的运动；-用于相机记录的相机的质量；-记录人为现象（artifact）（撕裂；混叠；交错）；-在编码媒体记录的情况下的编码器设置；-相机相对于屏幕的视角为了改进相机记录中的视觉内容的质量，人们可以选择增加相机记录的质量，例如通过增加记录分辨率、帧速率和/或视频质量。不利地，这可能导致更大大小的相机记录。这可能由于带宽或存储限制而是不合期望的或难以忍受的，并且当使用通常可用的现今的记录设备（诸如不包含这种高质量相机功能的智能电话或平板电脑）时，这可能是不可能的。此外，即使当可行时，记录质量方面的增加也无法解决诸如动态范围问题等之类的问题。
技术实现思路
将有利的是获得用于增强包括场景的相机记录的媒体记录以获得增强媒体记录的系统或方法，其中场景包括显示视觉内容的屏幕。本专利技术的以下方面涉及在相机记录中利用最初记录或生成的版本替换在屏幕上示出的视觉内容。因此，可以避免“数字到光到数字”转换步骤，这是视觉内容在相机记录中具有欠佳质量的至少一个原因。即，在相机记录中，视觉内容在通过显示从数字域转换到光域然后通过相机记录转换回到数字域中之后示出。根据本专利技术的第一方面，可以提供用于增强媒体记录的方法，所述方法可以包括：-访问所述媒体记录，所述媒体记录包括场景的相机记录，所述场景包括显示视觉内容的屏幕；-分析所述相机记录以确定所述屏幕在所述相机记录中的坐标；-访问所述视觉内容的原始版本；以及-在所述相机记录中并且使用所述屏幕的坐标将在所述屏幕上显示的视觉内容替换为所述视觉内容的原始版本，由此获得增强媒体记录。根据本专利技术的另一方面，可以提供用于使得处理器系统执行所述方法的计算机程序。根据本专利技术的另一方面，可以提供用于增强媒体记录的系统，所述系统可以包括：-第一输入接口，用于访问所述媒体记录，所述媒体记录包括场景的相机记录，所述场景包括显示视觉内容的屏幕；-分析子系统，用于分析所述相机记录以确定所述屏幕在所述相机记录中的坐标；-第二输入接口，用于访问所述视觉内容的原始版本；以及-替换子系统，用于在所述相机记录中并且使用所述屏幕的坐标将在所述屏幕上显示的视觉内容替换为所述视觉内容的原始版本，由此获得增强媒体记录。根据本专利技术的其他方面，可以提供发送器设备和接收器设备以供在所述系统中使用。上述措施涉及访问至少包括场景的相机记录的媒体记录。例如，可以访问媒体流，其表示媒体记录的编码版本。另一个示例是可以访问由相机做出的静止图像。相机记录是包括显示视觉内容的屏幕的场景的。因此，例如，如果屏幕仅部分地包括在相机记录的记录帧中，或者如果屏幕的部分被场景中的另一个物体所覆盖，则相机记录可以至少间歇地示出显示视觉内容的屏幕或其部分。可以分析相机记录以确定屏幕在相机记录中的位置。该位置可以被表达为坐标。例如，在矩形屏幕的情况下，坐标可以表示屏幕的一个或多个角落（corner）。坐标可以采取任何合适的形式，诸如图像网格坐标（列号、行号）或规范化图像坐标。然后可以访问视觉内容的原始版本。本文，术语“原始版本”指代不通过显示视觉内容的屏幕的相机记录的间接（indirection）而获得的版本。更确切地，原始版本表示最初记录或生成的版本。非限制性示例是，如果在屏幕上示出的视觉内容通过媒体流的播出而获得，则访问相同的媒体流。另一个示例是，电视可以示出特定的电视频道，并且包含该相同电视频道的TV信号或该电视频道的记录版本可以作为视觉内容的原始版本被访问。又另一个示例是，如果在屏幕上示出的视觉内容表示来自演示的幻灯片，则访问该演示的计算机文件。与视觉内容的相机记录相比，内容的原始版本可以具有更高的质量，原因在于可以避免如在
技术介绍
章节中列举的视觉内容在媒体记录中具有欠佳质量的原因中的一个或多个。特别地，原始版本可以避免视觉内容通过显示从数字域转换到光域然后通过相机记录转换回到数字域中的“数字到光到数字”转换步骤。在屏幕上显示的视觉内容然后可以在相机记录中被替换为视觉内容的原始版本。为此目的，可以利用屏幕的坐标。例如，视觉内容的原始版本可以覆盖在相机记录中的屏幕之上，由此替换相机记录中的视觉内容的记录版本。由于视觉内容的原始版本在质量方面可以比相机记录中示出的视觉内容更好，所以可以获得增强媒体记录。本专利技术人认识到，随着数字化方面的不断增加，当获得显示视觉内容的屏幕的相机记录时，视觉内容的原始版本通常以数字形式可用并且可以被访问。这样的原始版本可以用于替换如在相机记录中的屏幕上示出的视觉内容。通过将这样的相机记录的视觉内容替换为视觉内容的原始版本，可以改进视觉内容的质量。另一个优点是，可以不需要以其他方式提高相本文档来自技高网...

【技术保护点】
一种增强媒体记录的方法，包括：‑ 访问所述媒体记录，所述媒体记录包括场景的相机记录，所述场景包括显示视觉内容的屏幕；‑ 分析所述相机记录以确定所述屏幕在所述相机记录中的坐标；‑ 访问所述视觉内容的原始版本；以及‑ 在所述相机记录中并且使用所述屏幕的坐标将在所述屏幕上显示的视觉内容替换为所述视觉内容的原始版本，由此获得增强媒体记录。

【技术特征摘要】
【国外来华专利技术】2015.04.24 EP 15165075.11.一种增强媒体记录的方法，包括：-访问所述媒体记录，所述媒体记录包括场景的相机记录，所述场景包括显示视觉内容的屏幕；-分析所述相机记录以确定所述屏幕在所述相机记录中的坐标；-访问所述视觉内容的原始版本；以及-在所述相机记录中并且使用所述屏幕的坐标将在所述屏幕上显示的视觉内容替换为所述视觉内容的原始版本，由此获得增强媒体记录。2.根据权利要求1所述的方法，其中访问所述视觉内容的原始版本包括：-标识在所述屏幕上显示的视觉内容；-基于所显示的视觉内容已经被标识，标识包括所述视觉内容的原始版本的资源位置；以及-从所述资源位置访问所述视觉内容的原始版本。3.根据权利要求2所述的方法，其中标识在所述屏幕上显示的视觉内容包括：-标识与在所述屏幕上显示的视觉内容相关联的所述相机记录的内容数据；-将自动内容识别技术应用于所述内容数据以标识所述视觉内容。4.根据权利要求3所述的方法，其中所述自动内容识别技术包括确定以下中的至少一个：所述内容数据的音频水印、视频水印或指纹。5.根据权利要求2所述的方法，其中在所述屏幕上显示的视觉内容表示由媒体设备的播出，并且其中标识在所述屏幕上显示的视觉内容包括从媒体设备获得指示所述视觉内容的播出信息。6.根据权利要求5所述的方法，其中获得所述播出信息包括：-经由网络查询媒体设备以得到所述播出信息；或者-媒体设备经由网络发送所述播出信息。7.根据上述权利要求中任一项所述的方法，其中在场景的相机记录中的视觉内容的替换包括调整所述视觉内容的原始版本的一个或多个视觉性质。8.根据权利要求7所述的方法，其中所述一个或多个视觉性质包括以下中的一个或多个：对比度、亮度、白平衡、动态范围、帧速率、空间分辨率、几何形状、焦点、3D角度、3D深度。...

【专利技术属性】
技术研发人员：HM斯托克金，M普林斯，OA尼亚穆特，R科恩恩，E托马斯，
申请(专利权)人：皇家KPN公司，荷兰应用自然科学研究组织，
类型：发明
国别省市：荷兰,NL