一种虚拟爵士鼓及实现方法技术

本发明专利技术公开了一种虚拟爵士鼓及实现方法，该虚拟爵士鼓包括脚踏、鼓槌、摄像头、上位机、爵士鼓软件程序、存储器、爵士鼓声音数据库和音箱，其中，鼓槌和脚踏用作爵士鼓演奏工具，摄像头与上位机连接，实时拍摄演奏者的手部和脚部动作，爵士鼓软件程序运行在上位机上，爵士鼓声音数据库存储在上位机的存储器中，音箱通过线路连接到上位机；上位机将摄像头采集到的视频信号，经爵士鼓软件程序分析后，即可匹配到爵士鼓声音数据中的声音信号，声音信号再经音频处理形成音频文件，音频文件最后通过音箱进行播放。该发明专利技术具易携带、低成本、强实用性并能够最大程度满足个体用户爵士鼓演奏的个性化需求，适合不同场合不同人群使用。

【技术实现步骤摘要】
一种虚拟爵士鼓及实现方法
本专利技术涉及综合教育娱乐
，具体涉及一种虚拟爵士鼓及实现方法。
技术介绍
爵士鼓(Drumkit,Drumset)，是一套各种不同类型、不同音色的手击乐器和脚击乐器集结为一体由单人利用脚踏、鼓槌或鼓刷来演奏的大型乐器。主要用在摇滚乐和爵士乐中，抑扬顿挫的立体鼓点配上鼓手投入演出的神情，演奏起来极具渲染性。爵士鼓的基本组合包括了大鼓(bassdrum)、小鼓(snaredrum)、两个筒鼓(tom-tom)、一个落地鼓(floortom)、脚踏钹(hi-hatcymbal)和钹(cymbal)。其中钹分为碎音钹(crashcymbal)、叠音钹(ridecymbal)以及发出效果音的中国钹(Chinesecymbal)、水钹(splashcymbal)和crashride(crash/ridecymbal)等。因从外观上看去就像一排架子上挂着很多鼓，又名架子鼓。爵士鼓演奏，集娱乐及运动于一身。然而传统爵士鼓，价格昂贵，占用空间大等缺点，很大程度上限制其普及。众所周知，西方现代音乐是建立在电声乐器演奏的基础上，但是作为基础乐器的爵士鼓的电声化研发道路却显得默默无闻，目前电子爵士鼓，是通过鼓槌的敲击鼓皮(非传统套鼓筒)引起震动，震动触发鼓皮下的震动传感器，震动传感器把震动信号转变为电信号，传达到电子鼓的音源，音源再经专用芯片合成为各风格鼓声，实现爵士鼓的电声化。电子爵士鼓在一定程度上解决了传统爵士鼓体积大的缺点，但其价格仍居高不下。
技术实现思路
本专利技术的目的是为了解决现有技术中的上述缺陷，提供一种虚拟爵士鼓及实现方法。根据公开的实施例，本专利技术的第一方面公开了一种虚拟爵士鼓，所述的虚拟爵士鼓包括脚踏10、鼓槌13、摄像头2、上位机3、爵士鼓软件程序4、存储器5、爵士鼓声音数据库6和音箱7，其中，所述的鼓槌13和所述的脚踏10用作爵士鼓演奏工具，所述的摄像头2与所述的上位机3连接，实时拍摄演奏者1的手部和脚部动作，所述的爵士鼓软件程序4运行在所述的上位机3上，所述的爵士鼓声音数据库6存储在所述的上位机3的存储器5中，所述的音箱7通过线路连接到所述的上位机3；所述的上位机3将所述的摄像头2采集到的视频信号，经所述的爵士鼓软件程序4分析后，即可匹配到所述的爵士鼓声音数据6中的声音信号，声音信号再经音频处理形成音频文件，音频文件最后通过所述的音箱进行播放。进一步地，所述的脚踏10包括对应演奏者左脚位置的踩镲脚踏11和对应演奏者右脚位置的大鼓脚踏12，所述的鼓槌13为左右手各一根。进一步地，所述的爵士鼓软件程序通过运算分析出所述的摄像头2实时采集视频数据中的相关信息，并将利用上述相关信息用来匹配爵士鼓数据库中对应的音频信号、配置音箱相关参数、交互界面显示，最后通过音箱将相应的音频播放出来，同时爵士鼓软件程序的交互界面将显示给演奏者，方便演奏者进行演奏；其中，所述的相关信息为手部鼓槌槌头与脚部脚踏锤头的位置信息和运动信息，所述的爵士鼓软件程序根据位置信息和运动信息判断演奏者击打的是哪一个鼓或者钹及具体的击打点位置，根据运动信息判断演奏者击打鼓面或钹面的力度和方向，根据击打点位置，结合其在视频画面固定位置显示的各鼓和钹的相对位置信息，所述的爵士鼓软件程序将匹配爵士鼓数据库的对应声音信号，结合用户的在程序界面进行的相关设置形成音频文件。进一步地，所述的爵士鼓软件程序的界面40包括基本操作栏401、乐器模型选择区402和乐器模型放置区403，所述的基本操作栏401包括声音大小、音乐风格、存储与否、脚踏与鼓槌设定和初始化按钮。根据公开的实施例，本专利技术的第二方面公开了一种虚拟爵士鼓的实现方法，所述的实现方法包括下列步骤：S1、摄像头2放置在演奏者1正前方，拍摄演奏者1对脚踏10和鼓槌13的操作动作，其中，所述的脚踏包括对应演奏者左脚位置的踩镲脚踏和对应演奏者右脚位置的大鼓脚踏，所述的鼓槌为左右手各一根；S2、摄像头2将拍摄到的视频数据上传到上位机3，视频数据同时存储于存储器5，由上位机3的爵士鼓软件程序4进行实时分析，得到击打信息，击打信息同时存储为演奏记录，通过击打信息来匹配爵士鼓声音数据库6中声音信号，匹配到的声音信号再经音频处理形成音频文件，该音频文件作为演奏记录存储在存储器5上；S3、将音频文件或演奏记录文件通过音箱进行播放。进一步地，其特征在于，所述的步骤S2的过程如下：通过运算分析出摄像头2实时采集视频数据中的相关信息，并将利用上述相关信息用来匹配爵士鼓数据库中对应的音频信号、配置音箱相关参数、交互界面显示，最后通过音箱将相应的音频播放出来，同时爵士鼓软件程序的交互界面将显示给演奏者，方便演奏者进行演奏；其中，所述的相关信息为手部鼓槌槌头与脚部脚踏锤头的位置信息和运动信息，所述的爵士鼓软件程序根据位置信息和运动信息判断演奏者击打的是哪一个鼓或者钹及具体的击打点位置，根据运动信息判断演奏者击打鼓面或钹面的力度和方向，根据击打点位置，结合其在视频画面固定位置显示的各鼓和钹的相对位置信息，所述的爵士鼓软件程序将匹配爵士鼓数据库的对应声音信号，结合用户的在程序界面进行的相关设置形成音频文件。进一步地，所述的击打点位置的确定，是通过分析连续视频帧中槌头、锤头的空间位置变化，判断其运动速度大小和方向，当速度大小小于某一个阈值且速度方向为特定方向时，认为此时刻为击打时刻，然后取出该时刻前后连续视频帧图像，综合分析，得到槌头、锤头的空间位置，此空间位置即为击打点位置；所述的击打鼓面或钹面的力度和方向的确定，是通过分析上述击打时刻附近槌头、锤头速度变化的快慢和方向，得到击打加速度大小和方向，从而就可以推断出击打力度和击打方向。进一步地，所述的爵士鼓软件程序会在用户拖放完击打乐器模型后，将各模型位置固定显示在程序界面上，结合获得到的槌头、锤头击打位置，可以判断出演奏者击打的是哪一个鼓或者钹，以及击打点在鼓面、钹面的相对位置，击打点会有水波纹效果，不同击打乐器水波纹颜色不一样，不同击打力度和角度会影响水波颜色深浅。进一步地，所述的步骤S2中通过击打信息来匹配爵士鼓声音数据库6中声音信号具体如下：将每一个乐器模型的被击打位置进行编号，每一个编号对应一个声音信号，所述的爵士鼓软件程序据此将匹配出相对应的爵士鼓声音数据库的声音信号，其中，声音信号包括音调和音色，然后将声音信号经响度调整和音频混合处理成音频文件，其中，响度调整根据击打力度和方向确定，音频混合处理是多声音信号混合以及用户的混音设置。进一步地，所述的步骤S2中爵士鼓软件程序实时分析视频数据的过程如下：S201、将视频信号逐帧提取并对其进行模式识别，找到帧中踩镲踏板11、大鼓踏板12和鼓槌13并确定其位置，连续三帧的位置信息被用来计算踩镲踏板11、大鼓踏板12和鼓槌13的运动速度和加速度，其中运动速度作为是否为击打点的判断依据，加速度作为击打力度和方向的判断依据；S202、当确认为击打点后，将击打点的位置信息将与乐器的位置信息进行相对计算，得到该击打点在乐器模型的相对位置，击打点位置将显示水波纹，不同乐器模型不同颜色，不同击打强度不同颜色深度。本专利技术相对于现有技术具有如下的优点及效果：本专利技术设计了一种虚拟爵士鼓及实现方法，具易携带、低成本、强实用本文档来自技高网...

【技术保护点】
1.一种虚拟爵士鼓，其特征在于，所述的虚拟爵士鼓包括脚踏、鼓槌、摄像头、上位机、爵士鼓软件程序、存储器、爵士鼓声音数据库和音箱，其中，所述的鼓槌和所述的脚踏用作爵士鼓演奏工具，所述的摄像头与所述的上位机连接，实时拍摄演奏者的手部和脚部动作，所述的爵士鼓软件程序运行在所述的上位机上，所述的爵士鼓声音数据库存储在所述的上位机的存储器中，所述的音箱通过线路连接到所述的上位机；所述的上位机将所述的摄像头采集到的视频信号，经所述的爵士鼓软件程序分析后，即可匹配到所述的爵士鼓声音数据中的声音信号，声音信号再经音频处理形成音频文件，音频文件最后通过所述的音箱进行播放。

【技术特征摘要】
1.一种虚拟爵士鼓，其特征在于，所述的虚拟爵士鼓包括脚踏、鼓槌、摄像头、上位机、爵士鼓软件程序、存储器、爵士鼓声音数据库和音箱，其中，所述的鼓槌和所述的脚踏用作爵士鼓演奏工具，所述的摄像头与所述的上位机连接，实时拍摄演奏者的手部和脚部动作，所述的爵士鼓软件程序运行在所述的上位机上，所述的爵士鼓声音数据库存储在所述的上位机的存储器中，所述的音箱通过线路连接到所述的上位机；所述的上位机将所述的摄像头采集到的视频信号，经所述的爵士鼓软件程序分析后，即可匹配到所述的爵士鼓声音数据中的声音信号，声音信号再经音频处理形成音频文件，音频文件最后通过所述的音箱进行播放。2.根据权利要求1所述的一种虚拟爵士鼓，其特征在于，所述的脚踏包括对应演奏者左脚位置的踩镲脚踏和对应演奏者右脚位置的大鼓脚踏，所述的鼓槌为左右手各一根。3.根据权利要求1所述的一种虚拟爵士鼓，其特征在于，所述的爵士鼓软件程序通过运算分析出所述的摄像头实时采集视频数据中的相关信息，并将利用上述相关信息用来匹配爵士鼓数据库中对应的音频信号、配置音箱相关参数、交互界面显示，最后通过音箱将相应的音频播放出来，同时爵士鼓软件程序的交互界面将显示给演奏者，方便演奏者进行演奏；其中，所述的相关信息为手部鼓槌槌头与脚部脚踏锤头的位置信息和运动信息，所述的爵士鼓软件程序根据位置信息和运动信息判断演奏者击打的是哪一个鼓或者钹及具体的击打点位置，根据运动信息判断演奏者击打鼓面或钹面的力度和方向，根据击打点位置，结合其在视频画面固定位置显示的各鼓和钹的相对位置信息，所述的爵士鼓软件程序将匹配爵士鼓数据库的对应声音信号，结合用户的在程序界面进行的相关设置形成音频文件。4.根据权利要求1所述的一种虚拟爵士鼓，其特征在于，所述的爵士鼓软件程序的界面包括基本操作栏、乐器模型选择区和乐器模型放置区，所述的基本操作栏包括声音大小、音乐风格、存储与否、脚踏与鼓槌设定和初始化按钮。5.一种虚拟爵士鼓的实现方法，其特征在于，所述的实现方法包括下列步骤：S1、摄像头放置在演奏者正前方，拍摄演奏者对脚踏和鼓槌的操作动作，其中，所述的脚踏包括对应演奏者左脚位置的踩镲脚踏和对应演奏者右脚位置的大鼓脚踏，所述的鼓槌为左右手各一根；S2、摄像头将拍摄到的视频数据上传到上位机，视频数据同时存储于存储器，由上位机的爵士鼓软件程序进行实时分析，得到击打信息，击打信息同时存储为演奏记录，通过击打信息来匹配爵士鼓声音数据库中声音信号，匹配到的声音信号再经音频处理形成音频文件，该音频文件作为演奏记录存储在存储器上；S3、将音频文件或演奏记录文件通过音箱进行播放。6.根据权利要求5所述的一种虚拟爵士鼓的实现方法，其特征在于，所述的步骤S2的过程如下：通过运算分析出摄像头实时采集视频数据中的相关信息，并将利用上述相关信息用来匹配爵...

【专利技术属性】
技术研发人员：付勇，曾志广，郑栋珂，陈伟江，黄俊炜，钟睿，
申请(专利权)人：暨南大学，
类型：发明
国别省市：广东,44