向用户提供交互式音乐创作的方法技术

本发明专利技术提供以下项目：一种向用户提供交互式音乐创作的方法。一种提供需要蒙眼玩的计算机游戏的方法。本发明专利技术基于人类双耳听觉的能力以及在虚拟空间中从对象向用户的头戴式耳机提供3D声音的可能性。用户浸入声音对象所表示的虚拟空间。使用所述用户在虚拟空间中的位置和定向以及每个声音对象在虚拟空间中的位置，可以计算并向用户的左耳和右耳提供用户将感知到的3D声音。借助此3D声音，用户可以在所述虚拟空间内定位声音源位置，甚至可以在蒙眼的情况下与所述声音对象进行交互。在虚拟空间中提供多个未预混合的音轨作为声音源为所述音乐创作的用户交互式收听创造了可能性。

Provide users with interactive music creation methods

【技术实现步骤摘要】
【国外来华专利技术】向用户提供交互式音乐创作的方法
3D声音是被正确计算的进入立体声头戴式耳机的三维声音，并且允许用户在虚拟空间中定位声音源，从而直观地限定声音源的位置。双耳听觉具有在现代应用(例如，计算机游戏、录制和收听音乐)中并未完全使用的特殊可能性。即使一些游戏部分地支持3D声音，但这产生最小的效果，因为通常所有计算机和游戏机都被固定地放置并且固定地放置扬声器或杜比环绕系统，并且任何方面都不取决于用户相对于声音源的转动。立体声头戴式耳机也没有适当的效果，因为声音不会因头部旋转而改变。3D声音的关键在于使用头部定向数据。如果这样做，则知道用户的头部在空间中的定向并正确地使用本信息，就可以在虚拟空间中从定位的声音源为用户的两只耳朵中的每只耳朵再现声音。距声音源的距离取决于用户头部朝向声音源的位置和定向。例如，声音源离耳朵越近，声音越大。声音源与不同耳朵的距离差越大，声波波前到达较远耳朵的时间延迟就越大。除了由于与声音源的距离不同而导致的声级差异之外，对于应由不同耳朵的必要声级的正确确定所使用的头部“遮蔽”的声音，音量会大大降低。在此情况下，遮蔽取决于声频、头部和耳朵形式以不同方式进行。例如，时间延迟分量是双耳听觉的重要组成部分。但是一些声音引擎(DirectSound、OpenGL库等)不能正确地支持它。即使在一些声音引擎和库中部分地实施了双耳声音的一些功能，单如果没有用户头部的定向数据，也无法使用，因为立体声扬声器或甚至环绕系统都无法在所有方向上精确定位声音源。两个听觉接收器(外耳)的空间多样性以及使用衍射效应的头部和身体的屏蔽效果会导致传输到右耳和左耳的信号之间存在显著差异；它可以将声音源定位在受三个物理因素限制的空间中：a)时间(耳间时间差-ITD)-由相同声音相位到达左耳和右耳的时间差引起；b)强度(耳间强度差-IID)-由于声波在头部周围的衍射以及从与声音源相对的一侧形成“声影”，由声波的不同强度值引起-头部相关传输函数(HRTF)。c)频谱-由于头部和外耳对复杂声音的低频和高频分量的不同屏蔽效果，由左耳和右耳接收的声音频谱的差异引起。
技术介绍
声音可以由多种源表示：语音、音乐、言语、歌曲、动物、昆虫、自然现象等。声音具有多种属性：音高(频率)、音量、方向性、传播速度、衰减。真实的声波并非平面，而是球形。球面波的强度与平方距离成反比减小。通过计算用户耳朵的音量值，有必要说明，通过无限接近，声音将达到最大。本最大值应被限制为安全阈值以防止伤害用户的听觉。如果例如游戏中的声音源是爆炸，它不会随远处的音量增加而因二次衰减增大阈值。但是，如果虚拟空间中的爆炸位于用户的耳朵附近，则当它超过阈值时，有必要发送的不是标称计算值，而是阈值一。本逻辑可以并且应当设置在应用的声音引擎中，以确保用户听觉和健康的安全。声音感知取决于麦克风灵敏度、可能具有最小和最大感知阈值的听觉、取决于频率的声音灵敏度特性。包含人类在内的大多数动物都有双耳听觉，它们的两只耳朵(声音探测器)相互间隔并且通常以不同方式定向。许多动物都可以在正确的方向上改变耳朵和外耳定向。这意味着，取决于波前到达探测器(耳朵，麦克风)有多快以及声音有多大，用户可以直观地确定其位置(距离和方向)。用户(收听者)通过本性和生活经验自动下意识地感知声音源的空间位置。一方面，这是动物生理本能地确定的客观过程。另一方面，它在很大程度上取决于个体的感知特性、外耳的形状、灵敏度和背景经验。例如，一个已经听过大黄蜂的嗡嗡声并标识了其空间位置的人将能够在听到它时很精确地想象它(在空间中)朝向他的位置。如果一个人不知道声音源的“标准”音量，即使他可以很精确地确定声音所来自的方向，他也很难精确地确定到声音源的距离。在3D声音应用中，我们首先需要提供声音实例及其标准音量，并且示出它们的发出者、它们的成本以及价格随时间变化的方式。空间中的声音反射到达耳朵也会对感知过程产生影响。有时，在建筑物的走廊中，在有建筑物的城市中，在森林中，用户听到反射声音信号的声音更大，尤其是当源被一些障碍物隔离于视线之外时。用户可以直观地或逻辑性地得出有关真实源位置的结论。这对于军队和警察训练至关重要。还可以为计算机应用的声音引擎进行反射、衍射和干涉编程，以便在虚拟空间中进行再现近似真实的声音。
技术实现思路
每个声音源都具有其6-DOF坐标。6-DOF是6个量度，其中3个是线坐标(例如，正交坐标X、Y、Z)和定位定向的三个坐标(例如，欧拉角)。相同的定向可以用不同的方式表示，例如用四个四元数唯一地描述。每个用户在空间中都有他的6-DOF坐标。用户和声音源在虚拟空间中的坐标都可以使用6-DOF坐标或以其它方式描述，并且它们的坐标可以随时间变化。现代技术允许实时地跟踪手和手指的移动，并且以此方式控制虚拟或增强现实中的对象。对于被操纵的对象有益的是，使三维声音对应并根据位置、定向和手的操纵来改变它。例如，握紧手以用充气玩具发出口哨声，以听见被抚摸的虚拟猫的咕噜声。具有三维声音的智能手机上的应用可以使用不同类型的传感器(包含GPS)进行定位。例如，用户站在体育场的中心(指示本位置为零)，另一个用户可以同时在世界的另一个地点位于体育场中。小工具(gadget)上的应用可以经由互联网连接到一个网络中，并在原始坐标汇合的地方交换相互的相对数据。如果一个用户的任务是在同一个虚拟空间中抓住另一个用户，则他们甚至无法在视觉上彼此显示，并且在其位置提供了一个声信标。另一个用户将用听觉感受所述用户在哪里，在哪一边，他可以朝此方向走。而且，第一个人将试图远离他。例如，抓住是指在虚拟空间中来到相距某一距离的伙伴处。这就像在虚拟空间中玩马可波罗(Marco-Polo)。这几乎与在一个真实空间中在黑暗中以声音定向彼此追逐几乎一样。考虑到用户的眼睛不能从屏幕上转移，在与对象和其它人碰撞的意义上，他们将是安全的。用户可以完全浸入虚拟对象的声音源所呈现的虚拟空间，但是与此同时，他的视觉中只有一小部分可以关注小工具的小屏幕。这将允许注意真实生活中障碍物和周围的危险情况，例如与其它人或墙壁的碰撞。甚至可以将小工具放在口袋中，并通过应用的3D声音进行完全交互而无需视觉监视虚拟环境，但对浸入虚拟世界的声音部分完全控制。可以通过监视身体活动来完成应用。可以使用传感器(例如，Kinect)监视较小空间的移动。并且，一个人可以在Virtusphere？的HMD中显示的虚拟空间中走动，所述Virtusphere？允许在虚拟空间内以任何方向、任何距离的走动。如果一个人坐在扶手椅上或在站在一个地方玩，则可以用触摸屏或操纵器而非物理移动来控制化身的移动。一个或多个用户可以在虚拟空间中追逐声音信标，以刺激体育场中的移动。“飞行的”MP3播放器可以作为信标。这表示，可以播放用户想听的音乐。用户将在不注意的情况下通过或奔跑相当长的距离，并进行由应用控制的必要的锻炼，从而尝试更接近飞行的虚拟mp3播放器。来自便携式监视器的身体活动数据允许通过智能手机以及专用手表和手环对其进行微调。所述方法使得能够创建完全没有图像或一段时间没本文档来自技高网...

【技术保护点】
1.一种向用户提供交互式音乐创作的方法，所述音乐创作包括来自多个声音源的唱片，所述声音源来自由以下组成的群组：人声音轨和乐器音轨，所述方法包括以下步骤：/n指定每个所述声音源在虚拟空间中的初始坐标；/n确定所述声音源的位置和定向；/n确定所述用户(化身)在所述虚拟空间中的初始位置和定向；/n激活音乐创作播放，同时向所述用户提供改变其在所述虚拟空间中的所述位置和定向的能力；/n同时所述用户在收听音乐创作期间改变所述虚拟空间中的所述位置和定向；/n计算用户的每只耳朵的音量，并且根据所述用户在所述虚拟空间中相对于每个声音源的当前坐标实时地向用户的每只耳朵提供来自所述多个声音源中的每一个声音源的声音。/n

【技术特征摘要】
【国外来华专利技术】1.一种向用户提供交互式音乐创作的方法，所述音乐创作包括来自多个声音源的唱片，所述声音源来自由以下组成的群组：人声音轨和乐器音轨，所述方法包括以下步骤：
指定每个所述声音源在虚拟空间中的初始坐标；
确定所述声音源的位置和定向；
确定所述用户(化身)在所述虚拟空间中的初始位置和定向；
激活音乐创作播放，同时向所述用户提供改变其在所述虚拟空间中的所述位置和定向的能力；
同时所述用户在收听音乐创作期间改变所述虚拟空间中的所述位置和定向；
计算用户的每只耳朵的音量，并且根据所述用户在所述虚拟空间中相对于每个声音源的当前坐标实时地向用户的每只耳朵提供来自所述多个声音源中的每一个声音源的声音。


2.根据权利要求1所述的方法，其中进一步根据所述用户在真实空间中的所述定向来确定所述用户在所述虚拟空间中的所述定向。


3.根据权利要求1所述的方法，其中进一步根据真实空间中的所述定向和位置来确定所述用户在所述虚拟空间中的所述位置和定向。


4.根据权利要求1或2所述的方法，其中通过界面执行所述用户在所述虚拟空间中的所述位置和定向的改变，所述界面来自由以下组成的群组：触摸屏、操纵杆、鼠标、另外的小工具(gadget)以及位置和定向传感器。


5.根据权利要求1所述的方法，其中更改所述声音源在所述虚拟空间中的所述位置和定向。

【专利技术属性】
技术研发人员：雷拉蒂波夫，
申请(专利权)人：雷拉蒂波夫，
类型：发明
国别省市：美国;US