【技术实现步骤摘要】
【国外来华专利技术】
本公开涉及播放事件的头戴式设备(headset)记录。更具体地，本文所公开的实施例涉及在播放从智能眼镜收集的事件的沉浸式现实记录时提供选择性的音频配置。
技术介绍
1、在可穿戴设备的领域，对旧事件的记录是有据可查的。然而，这些记录通常缺乏质量、以及将来再现或重放该事件所需的关注点。这通常是因为事后看来，用户可能已经将他/她的注意力转移到在记录时可能没有被用户注意到的元素。对于通常用单个传声器采集的事件记录的音频尤其如此，因此再现了所有噪声源和环境干扰，这使得想要专注于特定对话或音频源的听众感到懊恼。
技术实现思路
1、在第一实施例中，一种计算机实现的方法包括：接收来自沉浸式现实应用程序的用户的、在客户端设备的显示器中从记录视频对第一声源的选择，该记录视频由头戴式设备在包括头戴式设备用户的事件处提供；识别第一声源相对于该头戴式设备用户的音频方向；以及基于该音频方向增强记录视频中来自该第一声源的音频信号。
2、在一些实施例中，该计算机实现的方法还可以包括：在显示器中从记录视频中识别多个声源，并向沉浸式现实应用程序的用户提供多个声源的菜单。
3、在一些实施例中，该计算机实现的方法还可以包括：通过将记录视频上的图像识别与记录视频中的多个音轨相关联来从记录视频中识别多个声源，该多个音轨对应于空间分布在头戴式设备上的多个传声器。
4、在一些实施例中，接收对来自视频的第一声源的选择可以包括：由沉浸式现实应用程序的用户在客户端设备的图形用户界面上，标识在与第一声
5、在一些实施例中，该计算机实现的方法还可以包括：接收来自头戴式设备的记录视频，该记录视频包括来自空间分布在头戴式设备上的多个传声器的多个声道；以及将该记录视频存储在远程数据库中，该远程数据库包括该多个声道、以及头戴式设备上与每个声道相关联的的每个传声器的特定位置。
6、在一些实施例中，识别第一声源的音频方向可以包括：将来自多个声道的每个声道的多个波形与该多个波形到达该头戴式设备上的多个传声器的时间相关联，该多个声道是从该多个传声器中的每个传声器中收集的；以及基于到达时间确定第一声源的位置。
7、在一些实施例中，第一声源可以是移动对象，并且识别第一声源的音频方向包括识别第一声源的速度和运动方向。
8、在一些实施例中，增强来自第一声源的音频信号可以包括：基于来自第一声源的音频方向，相对于来自多个声道的多个波形到达该头戴式设备中的多个传声器的时间、同相地添加该多个波形，该多个声道是从该多个传声器中的每个传声器中收集的。
9、在一些实施例中，该计算机实现的方法还可以包括从该记录视频中识别第二声源，并且增强来自第一声源的音频信号包括：基于来自该第二声源的音频方向、通过相对于来自多个声道中的多个波形到达该头戴式设备中的多个传声器的时间异相地添加该多个波形、来移除来自该第二声源的音频信号，该多个声道是从该多个传声器中的每个传声器中收集的。
10、在一些实施例中，该计算机实现的方法还可以包括从该记录视频中识别噪声源，并且增强来自该第一声源的音频信号包括：通过相对于来自多个声道的多个波形到达该头戴式设备中的多个传声器的时间异相地添加该多个波形、来从不同于来自该第一声源的音频方向的方向移除该噪声源，该多个声道是从该多个传声器中的每个传声器中收集的。
11、在第二实施例中，一种头戴式设备包括：摄像头，该摄像头被配置为记录包括头戴式设备用户的事件的视频；一个或多个传声器，该一个或多个传声器空间分布在该头戴式设备框架上，并且被配置为在该事件中记录来自多个音频源的多个声道；以及处理器，该处理器被配置为将该事件的视频和该多个声道无线传输到客户端设备。
12、在一些实施例中，头戴式设备还可以包括存储器，该存储器被配置为存储事件的视频、多个声道、以及空间分布在头戴式设备中的该一个或多个传声器中的每个传声器的特定位置和设置。
13、在一些实施例中，该处理器还可以包括时钟，该时钟被配置为识别声音波形到达多个传声器中的每个传声器的时间，并且该处理器还被配置为无线传输该声音波形到达该一个或多个传声器中的每个传声器的时间。
14、在一些实施例中，该摄像头可以包括前视摄像机和后视摄像机，并且事件的视频包括基于用前视摄像机和后视摄像机采集的图像对事件的三维重建。
15、在一些实施例中，多个传声器中的至少一个传声器被配置为采集事件的环境声音。
16、在第三实施例中，一种计算机实现的方法包括：一经接收到来自头戴式设备的用户的命令，就用安装在该头戴式设备上的摄像头记录包括多个声源的事件；从该多个声源中识别该用户感兴趣的第一声源和噪声源；以及基于该第一声源相对于该头戴式设备的第一方向和该噪声源相对于该头戴式设备的第二方向，激活安装在该头戴式设备上的多个传声器以包括在记录中。
17、在一些实施例中，该计算机实现的方法还可以包括：基于信号从该第一声源到该多个传声器中的每个传声器的时间延迟来识别相对于该头戴式设备的第一方向。
18、在一些实施例中，该计算机实现的方法还可以包括：在记录视频中，基于该第一方向增强来自该第一声源的音频信号。
19、在一些实施例中，该计算机实现的方法还可以包括：在记录包括多个声源的事件之前，使该多个传声器同步并删除来自该噪声源的信号。
20、在一些实施例中，该计算机实现的方法还可以包括：在单独的音轨上记录该多个传声器中的每个传声器，包括该多个传声器中的每个传声器在该头戴式设备中的位置。
21、在另一实施例中，提供了一种系统，该系统包括：存储器，该存储器存储有多个指令；以及一个或多个处理器，该一个或多个处理器被配置为执行该多个指令以使得该系统执行一种方法。该方法包括：接收来自沉浸式现实应用程序的用户的、在客户端设备的显示器中从记录视频中对第一声源的选择，该记录视频由头戴式设备在包括头戴式设备用户的事件处提供；识别第一声源相对于该头戴式设备用户的音频方向；以及基于该音频方向来增强该记录视频中来自该第一声源的音频信号。
22、在又一实施例中，一种系统包括：用于存储指令的第一装置、和用于执行所述指令以使得该系统执行一种方法的第二装置。该方法包括：接收来自沉浸式现实应用程序的用户的、在客户端设备的显示器中对从记录视频对第一声源的选择，该记录视频由头戴式设备在包括头戴式设备用户的事件处提供；识别第一声源相对于该头戴式设备用户的音频方向；以及基于该音频方向来增强该记录视频中来自该第一声源的音频信号。
23、应当理解的是，本文中描述为适合于结合到本公开的一个或多个方面或实施例中的任何特征旨在在本公开的任何方面和实施例和所有方面和实施例中具有普遍性。根据本公开的说明书、权利要求和附图，本领域技术人员可以理解本公开的其它方面。上述总体描述和以下详细描述仅是示例性和说明性的，而不是对权利要求的限制。
本文档来自技高网...【技术保护点】
1.一种计算机实现的方法，包括：
2.根据权利要求1所述的计算机实现的方法，还包括：在所述显示器中从所述记录视频中识别多个声源，并且向所述沉浸式现实应用程序的用户提供所述多个声源的菜单。
3.根据权利要求1或2所述的计算机实现的方法，还包括：通过将所述记录视频上的图像识别与所述记录视频中的多个音轨相关联来从所述记录视频中识别多个声源，所述多个音轨对应于空间分布在所述头戴式设备上的多个传声器。
4.根据权利要求1、2或3所述的计算机实现的方法，其中，接收对来自视频的第一声源的选择包括：由所述沉浸式现实应用程序的用户在所述客户端设备的图形用户界面上，标识在与所述第一声源相关联的图像上启动的指示器。
5.根据前述权利要求中任一项所述的计算机实现的方法，还包括：接收来自所述头戴式设备的所述记录视频，所述记录视频包括来自空间分布在所述头戴式设备上的多个传声器的多个声道；以及将所述记录视频存储在远程数据库中，所述远程数据库包括所述多个声道、以及所述头戴式设备上与每个声道相关联的每个传声器的特定位置。
6.根据前述权利要求中任一项所述
7.根据前述权利要求中任一项所述的计算机实现的方法，其中，所述第一声源是移动对象，并且识别所述第一声源的音频方向包括识别所述第一声源的速度和运动方向。
8.根据前述权利要求中任一项所述的计算机实现的方法，其中，增强来自所述第一声源的音频信号包括：基于来自所述第一声源的音频方向，相对于来自多个声道的多个波形到达所述头戴式设备中的多个传声器的时间同相地添加所述多个波形，所述多个声道是从所述多个传声器中的每个传声器中收集的。
9.根据前述权利要求中任一项所述的计算机实现的方法，还包括以下中的一者或多者：
10.一种头戴式设备，包括：
11.根据权利要求10所述的头戴式设备，还包括存储器，所述存储器被配置为存储所述事件的视频、所述多个声道、以及空间分布在所述头戴式设备中的所述一个或多个传声器中的每个传声器的特定位置和设置。
12.根据权利要求10或11所述的头戴式设备，其中，所述处理器还包括时钟，所述时钟被配置为识别声音波形到达所述一个或多个传声器中的每个传声器的时间，并且所述处理器还被配置为无线传输所述声音波形到达所述一个或多个传声器中的每个传声器的所述时间。
13.根据权利要求10、11或12所述的头戴式设备，其中，所述摄像头包括前视摄像头和后视摄像头，并且所述事件的视频包括基于用所述前视摄像头和所述后视摄像头采集的图像对所述事件的三维重建；和/或优选地
14.一种计算机实现的方法，包括：
15.根据权利要求14所述的计算机实现的方法，还包括以下中的一者或多者：
...【技术特征摘要】
【国外来华专利技术】
1.一种计算机实现的方法，包括：
2.根据权利要求1所述的计算机实现的方法，还包括：在所述显示器中从所述记录视频中识别多个声源，并且向所述沉浸式现实应用程序的用户提供所述多个声源的菜单。
3.根据权利要求1或2所述的计算机实现的方法，还包括：通过将所述记录视频上的图像识别与所述记录视频中的多个音轨相关联来从所述记录视频中识别多个声源，所述多个音轨对应于空间分布在所述头戴式设备上的多个传声器。
4.根据权利要求1、2或3所述的计算机实现的方法，其中，接收对来自视频的第一声源的选择包括：由所述沉浸式现实应用程序的用户在所述客户端设备的图形用户界面上，标识在与所述第一声源相关联的图像上启动的指示器。
5.根据前述权利要求中任一项所述的计算机实现的方法，还包括：接收来自所述头戴式设备的所述记录视频，所述记录视频包括来自空间分布在所述头戴式设备上的多个传声器的多个声道；以及将所述记录视频存储在远程数据库中，所述远程数据库包括所述多个声道、以及所述头戴式设备上与每个声道相关联的每个传声器的特定位置。
6.根据前述权利要求中任一项所述的计算机实现的方法，其中，识别所述第一声源的音频方向包括：将来自多个声道的每个声道的多个波形与所述多个波形到达空间分布在所述头戴式设备上的多个传声器的时间相关联，所述多个声道是从所述多个传声器中的每个传声器中收集的；以及基于到达时间确定所述第一声源的位置。
7.根据前述权利要求中任一项所述的计算机实现的方法，其中...
【专利技术属性】
技术研发人员：安德鲁·洛维特，塔希尔·沙赫巴兹·米尔扎哈桑卢，斯科特·菲利普·塞尔方，肖恩·艾林·科芬，纳瓦·K·巴尔萨姆，西瓦沃什·扎迪萨，
申请(专利权)人：元平台技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。