使用视频的图像来选择要增强的视频的音频流制造技术

选择视频的音频流以使用视频的图像进行增强。在一个示例中，标识和分离视频中的音频流。在视频的图像中标识感兴趣的点及其位置。每个音频流的位置被标绘到感兴趣的点的位置。接收对来自图像序列的感兴趣的点的选择。基于相应的感兴趣的点来选择所标绘的音频流，并且增强所选择的音频流。

【技术实现步骤摘要】
【国外来华专利技术】使用视频的图像来选择要增强的视频的音频流
本描述涉及视频呈现和编辑，并且具体地，涉及基于视频中的图像选择和修改视频中的音频流。
技术介绍
随着便携式轻量级摄像机的普及，更多的视频在休闲环境中被拍摄，并且不需要复杂的录制设备。对于计划事件和高价值视频，麦克风被放置在人和物附近，以捕获对于视频的每个部分最重要的声音。所得的视频与每个麦克风的音轨同步，这些音轨可以针对视频的每个帧被独立地放大和混合。当无法仔细放置麦克风时，例如在体育赛事中，定向麦克风被用于捕获主要来自比赛场地或看台上的特定位置的声音。定向麦克风能够相对于其他声音和环境噪声放大来自特定方向的声音。一些摄像机、平板电脑和智能电话在设备的壳体中配备有多个麦克风。这些麦克风例如各自在设备的不同角落处被间隔开，使得可以使用波束形成技术来隔离来自特定方向的声音。这些多个麦克风系统通常用于相对于环境噪声隔离讲话者的声音。为使用波束成形来捕获更远的讲话者，需要用户在进行视频记录时标识该讲话者。另一常见的摄像机位置是在会议室或会议厅中。当会议室中的不同位置有多个讲话者时，一些系统将在桌子周围提供麦克风，以使得每个讲话者附近都有麦克风。在其他本文档来自技高网...

【技术保护点】
1.一种增强所选择的音频流的方法，包括：标识视频的音频中的音频流，所述视频具有图像序列和相关联的音频；分离所标识的音频流；标识每个图像中的感兴趣的点；确定所标识的感兴趣的点的位置；将每个音频流的位置标绘到所述图像序列中的感兴趣的点的位置；接收对所述图像序列中的感兴趣的点的选择；基于相应的感兴趣的点来选择所标绘的音频流；以及增强所选择的音频流。

【技术特征摘要】
【国外来华专利技术】2016.04.15 US 15/099,8451.一种增强所选择的音频流的方法，包括：标识视频的音频中的音频流，所述视频具有图像序列和相关联的音频；分离所标识的音频流；标识每个图像中的感兴趣的点；确定所标识的感兴趣的点的位置；将每个音频流的位置标绘到所述图像序列中的感兴趣的点的位置；接收对所述图像序列中的感兴趣的点的选择；基于相应的感兴趣的点来选择所标绘的音频流；以及增强所选择的音频流。2.根据权利要求1所述的方法，其中，标绘位置包括比较两个不同麦克风处的音频流的相位以确定所述音频流的方向，并使用所确定的方向来标绘所述位置。3.根据权利要求2所述的方法，其中，标绘包括在频域中互相关音频流。4.根据权利要求3所述的方法，其中，标绘包括使用离散傅里叶变换和窄带估计来确定每个音频流的到达方向。5.根据权利要求4所述的方法，还包括对所述离散傅里叶变换的频率系数进行阈值化处理，以仅选择功率高于阈值的频率来用于确定所述到达方向。6.根据上述权利要求中的任一项或多项所述的方法，其中，标绘还包括基于相应的音频流的音量来标绘距离。7.根据上述权利要求中的任一项或多项所述的方法，还包括：分析所述视频的图像以将所述图像划分为域；并且将经分离的音频流分组到所述图像序列中的域，其中，标识感兴趣的点包括在每个图像域中标识感兴趣的点。8.根据权利要求7所述的方法，还包括针对每个域确定在对应于所述域的图像中是否存在音频源，并且不将所述经分离的音频流分组到不具有音频源的每个域。9.根据权利要求8所述的方法，还包括从所标绘的音频流中移除与没有音频源的域相对应的音频源。10.根据权利要求7所述的方法，还包括确定每个经分离的音频流的权重以指示所述音频流的重要性。11.根据权利要求10所述的方法，还包括：确定所述选择的感兴趣的点的位置的域；以及在选择所标绘的音频流之前，精调所确定的域内的音频流的权重。12.一种计算机可读介质，其上具有指令，所述指令当在计算机上进行操作时，使得所述计算机执行如下操作，包括：标识视频的音频中的音频流，所述视频具有图像序列和相关联的音频；分离所标识的音频流；标识每个图像中的感兴趣的点；确定所标识的感兴趣...

【专利技术属性】
技术研发人员：杰罗姆·阿南德，古玛兰·塞图拉曼，
申请(专利权)人：英特尔公司，
类型：发明
国别省市：美国,US