一种可交互式音乐的创作方法和体验装置制造方法及图纸

本发明专利技术公开了一种可交互式音乐的创作方法和体验装置，所述方法包括，第一步：对音乐信息及人体头部动作信号进行定义；第二步：实时获取人体头部的左右旋转、上下摆动的动作信息；第三步：根据获取的人体头部动作信息，控制音乐风格和空间场景的切换；所述装置包括：动作定义模块、动作获取模块、预加重头部传输模块、音乐风格切换模块、空间场景切换模块、节奏快慢控制模块、音乐内容过滤模块。本发明专利技术借助交互装置，通过人体头部动作信号的定义获取，控制音乐风格切换、空间场景切换、节奏快慢控制、音乐内容过滤，同时用户可以选择收听的内容，场景，方向等，并与音乐元素进行交互，给用户带来全新的音乐创作和体验方式。

【技术实现步骤摘要】
一种可交互式音乐的创作方法和体验装置
本专利技术涉及音乐制作和信号处理
，具体涉及一种可交互式音乐的创作方法和体验装置。
技术介绍
音乐的发展在形式上经历了由单声道音乐，到立体声音乐，以及5.1声道音乐的变化；在风格上包括了摇滚，经典，流行，电子等类型；在播放硬件上经历了由唱片，卡带到CD，mp3，手机等设备的变化。目前在音乐体验时主要以耳机，和音箱为主。音乐内容以立体声音乐为主，用户一般只能被动的欣赏混音师制作好的立体声音乐。交互式音乐指用户可以通过交互设备，来选择，改变，调节甚至二次创作音乐内容或播放方式。交互设备，比如一部带头部跟踪传感器的立体声耳机。实现头部跟踪也有多种方法。比较常见的是使用多种传感器。运动传感器套件通常包括加速度计、陀螺仪和磁力传感器。常用的做法是采用传感器“融合”(sensorfusion)将来自各传感器的信号组合在一起，产生一个更加精确的运动检测结果。一般结果包括头部在3个自由度的旋转角度：Yaw(水平角)，Pitch(仰角)，Roll(倾斜角)和3个自由度的位移：x，y，z。在交互式音乐中，用户置身于一个360度全景音乐的3D空间，音乐的呈现和交互方式相比传统方法会有很大的不同。音乐创作者可以自由定义音乐中各个元素在全景3D空间的方位，距离，音乐元素播放存续时间和触发方式等，从而设计音乐场景的线索和分支。同时用户可以选择收听的内容，场景，方向等，并与音乐元素进行交互。有鉴于此，在交互式音乐领域需要一个交互式音乐创作设计和体验方法的解决方案。
技术实现思路
本专利技术的目的在于提供一种可交互式音乐的创作方法和体验装置，用以用户进行可交互式音乐的创作和体验。为实现上述目的，可交互式音乐的创作方法具体包括如下步骤：第一步：对音乐信息及人体头部动作信号进行定义，具体包括：定义音乐的音频格式为对象音频格式，对每个乐器种类和人声分别设置一个分轨进行记录；定义预加重头部传输函数，用以实现加强单个或至少两个特定方向的音乐元素；定义人体头部的运动信息，不同的左右旋转、上下摆动幅度对应不同的音乐控制方式；第二步：实时获取人体头部的左右旋转、上下摆动的动作信息；第三步：根据获取的人体头部动作信息，控制音乐风格和空间场景的切换。进一步的，所述的第一步中定义音乐的音频格式为声场音频格式，将声源转换到3D空间中的声场。进一步的，所述的第一步中定义音乐的音频格式为对象音频格式与声场音频格式结合的方式，其中将主唱和主要乐器声源定义为对象音频格式,将非主唱和主要乐器的其他声源定义为声场音频格式。进一步的，所述的第二步中人体头部的左右旋转的动作信息指向左旋转的角度或向右旋转的角度，所述的第二步中人体头部的上下摆动的动作信息指向上抬头的角度或向下低头的角度。进一步的，所述的第三步中的人体头部动作信息进一步用于控制音乐节奏快慢、音乐内容过滤、音乐模式选择。进一步的，对人体头部动作信息进行时间、动作维度区分，即根据时间段的不同赋予人体头部动作不同的控制含义。本专利技术还提供一种可交互式音乐的体验装置，所述装置采用如上所述的可交互式音乐的创作方法，所述装置包括：动作定义模块、动作获取模块、预加重头部传输模块、音乐风格切换模块、空间场景切换模块、节奏快慢控制模块、音乐内容过滤模块；所述的动作定义模块用于定义人体头部动作所控制的不同指令信息；所述的动作获取模块用于获取人体头部动作信号，根据人体头部动作信号的指令内容，传输到相应的控制模块；所述的预加重头部传输模块用于根据动作获取模块传输的人体头部动作信号加强单个或至少两个特定方向的音乐元素；所述的音乐风格切换模块用于根据动作获取模块传输的人体头部动作信号切换不同的音乐风格；所述的空间场景切换模块用于根据动作获取模块传输的人体头部动作信号切换不同的空间场景；所述的节奏快慢控制模块用于根据动作获取模块传输的人体头部动作信号调节音乐节奏快慢；所述的音乐内容过滤模块用于根据动作获取模块传输的人体头部动作信号从不同方向播放不同的音乐内容。进一步的，可交互式音乐的体验装置还包括音乐场景虚拟交互模块，所述的音乐场景虚拟交互模块用于提供可互动的逼真音乐环境。所述的音乐场景虚拟交互模块为AR穿戴设备。进一步的，可交互式音乐的体验装置还包括音乐模式控制模块，所述的音乐模式控制模块用于根据动作获取模块传输的人体头部动作信号控制音乐模式的切换，所述音乐模式包括原唱模式、录音模式、伴唱模式。需要进一步阐明的是音乐的音频格式采用全景声格式，包括对象音频(ObjectAudio)格式，即可以对每个乐器和人声设置一个分轨来记录。或者采用声场音频(Ambisonic)格式，把所有声源转换到3D空间中的声场。或者是两者结合的方式，将主唱和主要乐器用对象音频,将其他声源用声场音频。用户可以根据混音师设计的全景声，体验360度音乐场景。同时根据交互装置实时提供的头部动作跟踪信息，来实现音乐场景随头部动作的旋转以及距离。还可以通过定制预加重头部传输函数(HRTF)的方法来实现加强某个或某些特定方向的音乐元素的目的。从而在用户头部旋转时产生类似雷达扫描的效果。比如设置预加重前方头部传输函数，那么用户在旋转头部听音乐时，会感觉他前方的音乐元素最突出。此外，可以定制根据音乐内容，随着音乐播放的时间轴推移，对用户的motion响应和交互是不同的。即有两个维度，时间和用户motion。在特定的时间段内，对用户motion有特定的解读。从而最终根据时间的推移，体验到不同的输出内容和交互场景。本专利技术具有如下优点：对音乐信息及人体头部动作信号进行定义，音乐创作者可以自由定义音乐中各个元素在全景3D空间的方位，距离，音乐元素播放存续时间和触发方式等，从而设计音乐场景的线索和分支，因而可以制作出多元化的音乐。用户借助交互装置可以根据爱好选择收听的内容，场景，方向等，以及可以通过头部运动信息控制同一首音乐中音乐风格切换、空间场景切换、节奏快慢控制、音乐内容过滤，从而实现一首音乐有多种的体验方式，而不拘泥于音乐本身。附图说明图1可交互式音乐的创作方法流程示意图；图2可交互式音乐的体验装置系统示意图。具体实施方式以下实施例用于说明本专利技术，但不用来限制本专利技术的范围。实施例1如图1所示，提供一种可交互式音乐的创作方法，所述方法具体包括如下步骤：第一步S01：对音乐信息及人体头部动作信号进行定义，具体包括：定义音乐的音频格式为对象音频格式，对每个乐器种类和人声分别设置一个分轨进行记录；定义预加重头部传输函数，用以实现加强单个或至少两个特定方向的音乐元素；定义人体头部的运动信息，不同的左右旋转、上下摆动幅度对应不同的音乐控制方式；第二步S02：实时获取人体头部的左右旋转、上下摆动的动作信息；第三步S03：根据获取的人体头部动作信息，控制音乐风格和空间场景的切换。针对音乐风格，比如可设计四种音乐风格，分别对应头部旋转方向的四个角度：0度对应古典，90度对应流行，180度对应摇滚，270度对应电音。那么用户可以很方便的通过旋转角度，感受不一样的音乐风格。针对空间场景的切换，比如可以通过定制混响的方法来实现不同方向听到不同空间的场景。设计四种空间场景，分别对应头部旋转方向的四个角度：0度对应大会堂，90度对应歌剧院，180度对应酒吧，270度对本文档来自技高网...

【技术保护点】
一种可交互式音乐的创作方法，其特征在于：所述的创作方法包括以下步骤：第一步：对音乐信息及人体头部动作信号进行定义，具体包括：定义音乐的音频格式为对象音频格式，对每个乐器种类和人声分别设置一个分轨进行记录；定义预加重头部传输函数，用以实现加强单个或至少两个特定方向的音乐元素；定义人体头部的运动信息，不同的左右旋转、上下摆动幅度对应不同的音乐控制方式；第二步：实时获取人体头部的左右旋转、上下摆动的动作信息；第三步：根据获取的人体头部动作信息，控制音乐风格和空间场景的切换。

【技术特征摘要】
1.一种可交互式音乐的创作方法，其特征在于：所述的创作方法包括以下步骤：第一步：对音乐信息及人体头部动作信号进行定义，具体包括：定义音乐的音频格式为对象音频格式，对每个乐器种类和人声分别设置一个分轨进行记录；定义预加重头部传输函数，用以实现加强单个或至少两个特定方向的音乐元素；定义人体头部的运动信息，不同的左右旋转、上下摆动幅度对应不同的音乐控制方式；第二步：实时获取人体头部的左右旋转、上下摆动的动作信息；第三步：根据获取的人体头部动作信息，控制音乐风格和空间场景的切换。2.根据权利要求1所述的一种可交互式音乐的创作方法，其特征在于：所述的第一步中定义音乐的音频格式为声场音频格式，将声源转换到3D空间中的声场。3.根据权利要求1所述的一种可交互式音乐的创作方法，其特征在于：所述的第一步中定义音乐的音频格式为对象音频格式与声场音频格式结合的方式，其中将主唱和主要乐器声源定义为对象音频格式,将非主唱和主要乐器的其他声源定义为声场音频格式。4.根据权利要求1所述的一种可交互式音乐的创作方法，其特征在于：所述的第二步中人体头部的左右旋转的动作信息指向左旋转的角度或向右旋转的角度，所述的第二步中人体头部的上下摆动的动作信息指向上抬头的角度或向下低头的角度。5.根据权利要求1所述的一种可交互式音乐的创作方法，其特征在于：所述的第三步中的人体头部动作信息进一步用于控制音乐节奏快慢、音乐内容过滤、音乐模式选择。6.根据权利要求1所述的一种可交互式音乐的创作方法，其特征在于：进一步对人体头部动作信息进行时间、动作维度区分，即根据时间段的不同赋予人体头...

【专利技术属性】
技术研发人员：张晨，孙学京，刘恩，张旭，王宾，
申请(专利权)人：北京时代拓灵科技有限公司，
类型：发明
国别省市：北京,11