一种耳机及耳机系统技术方案

本发明专利技术涉及一种耳机及耳机系统，包括两个听筒主体、两个MIPI摄像头、MIPI驱动器和处理器；所述两个MIPI摄像头分别设置在所述两个听筒主体上且位于背对佩戴者的一侧；所述处理器通过所述MIPI驱动器与所述两个MIPI摄像头的MIPI接口连接，并获取所述两个MIPI摄像头拍摄的图像。相比于现有技术，本发明专利技术通过采用MIPI摄像头和MIPI驱动器，实现摄像头与处理器的MIPI接口通讯，进而使传输带宽可以达10Gb/s以上，达到千万级别以上的摄像头分辨率，从而提高传输数据量，实现对高分辨率的图片进行传输，降低功耗，提高传输效率。

【技术实现步骤摘要】
一种耳机及耳机系统
本专利技术涉及电子
，特别指针对耳机及耳机系统。
技术介绍
随着信息技术的发展，虚拟现实(VirtualReality，以下简称VR)技术作为一种可以创建和体验虚拟世界的计算机仿真系统，迅速遍布了包括视频，游戏，图片，购物等各个领域。全景图像和全景视频作为VR内容的重要一部分，通过它们对应的生成工具如全景相机进行拼接以获取大视场图片，可以让观看者更加身临其境的感受拍摄这张图片或者视频时的各个视角。但是，目前市面上存在的全景相机产品体积相对较大，不便于携带，或者拍摄全景照片时需要刻意地手持用一个设备来进行拍摄，不够方便。而方便携带或者体积较小的例如具有摄像功能的眼镜或者蓝牙耳机等却都是只有一个摄像头，而且因为一个摄像头必定其视场角不会太大，没法提供足够角度的内容让观看者有身临其境的感受，并且很少有人会在日常生活愿意戴一个眼镜上有一个摄像头的电子产品去进行拍摄，周围人也会觉得奇怪。耳机作为目前大多数年轻人必不可少的电子消费品，首先在佩戴上不会给周围人很突兀的感受，而在原有耳机本身能够佩戴听歌的前提下在左右听筒再各自置入一个摄像头进行拍摄，这样只要左右摄像头的视场角够大，就能够作为以第一视角采集当前佩戴者所处环境的最佳设备，而且再通过与摄像头连接的处理器，可以帮助佩戴者记录下自己的一些日常生活的美妙瞬间。但是，现有耳机中的摄像头通常需要通过USB转接模块的USB接口与处理器通讯，而USB接口通讯宽带受到很大限制，传输拍摄的图片时的分辨率低，影响了图像效果；而且USB转接模块的体积很大，其集成在耳机时，使得耳机变得臃肿。
技术实现思路
基于此，本专利技术的目的在于，提供一种耳机，其具有提高传输数据量，实现对高分辨率的图片进行传输，降低功耗，提高传输效率的优点。一种耳机，包括两个听筒主体、两个MIPI摄像头、MIPI驱动器和处理器；所述两个MIPI摄像头分别设置在所述两个听筒主体上且位于背对佩戴者的一侧；所述处理器通过所述MIPI驱动器与所述两个MIPI摄像头的MIPI接口连接，并获取所述两个MIPI摄像头拍摄的图像。相比于现有技术，本专利技术通过采用MIPI摄像头和MIPI驱动器，实现摄像头与处理器的MIPI接口通讯，进而使传输带宽可以达10Gb/s以上，达到千万级别以上的摄像头分辨率，从而提高传输数据量，实现对高分辨率的图片进行传输，降低功耗，提高传输效率。进一步地，所述两个听筒主体上靠近佩戴者的一侧分别设置有两个扬声器；所述两个扬声器均与所述处理器连接；和/或，所述两个听筒主体上还分别设置有两个麦克风；所述两个麦克风均与所述处理器连接。进一步地，还包括两个加速度传感器；所述两个加速度传感器均与所述处理器连接，且将获取的人体运动信息传送到所述处理器。进一步地，所述两个听筒主体内嵌设有两个定位装置；所述两个定位装置与所述处理器连接，并将定位信息传送到所述处理器进一步地，还包括耳机线；所述两个MIPI摄像头均经由所述耳机线和MIPI驱动器与所述处理器连接，所述两个扬声器、和/或两个麦克风、和/或两个加速度传感器、和/或两个定位装置均经由所述耳机线与所述处理器连接。进一步地，还包括嵌设在处理器表面且与处理器连接的一个或多个按键；所述按键与所述处理器连接，且所述按键控制所述两个MIPI摄像头的拍摄操作，进而实现对图像的便捷拍摄。本专利技术还提供一种耳机系统，包括上述耳机外，还包括后端处理平台和USB通讯装置；所述后端处理平台通过所述USB通讯装置与所述处理器连接，并获取所述处理器传送的两个MIPI摄像头拍摄的图像。进一步地，所述处理器或所述后端处理平台用于：获取两个MIPI摄像头拍摄的图像；剔除两个MIPI摄像头拍摄的图像中被人脸遮挡的区域，以获取有效的两个待拼接的图像；提取有效的两个待拼接的图像中的特征点，并对有效的两个待拼接的图像的特征点进行配准；根据配准的特征点统一有效的两个待拼接的图像的坐标系，以获得初拼接的全景图；在初拼接的全景图中找寻拼接缝并生成掩码图像；将掩码图和初拼接的全景图进行融合，获取拼接后的全景图。通过剔除两个MIPI摄像头拍摄的图像中遮挡的区域，再将图像拼接形成全景图像，拼接成的全景图像完整且效果好，可获取超过人眼所看角度范围的全景图像视觉。进一步地，所述两个听筒主体为设置在佩戴者左耳一侧的左听筒主体，以及设置在佩戴者右耳一侧的右听筒主体；所述两个MIPI摄像头为设置在左听筒主体且背对佩戴者左耳的一侧的左MIPI摄像头，以及设置在右听筒主体且背对佩戴者右耳的一侧的右MIPI摄像头；所述左MIPI摄像头与所述右MIPI摄像头为视场角为120-220度的广角摄像头；所述两个MIPI摄像头拍摄的图像为左MIPI摄像头拍摄的左图像，以及右MIPI摄像头拍摄的右图像。进一步地，所述处理器或后端处理平台用于剔除两个MIPI摄像头拍摄的图像中被人脸遮挡的区域，以获取有效的两个待拼接的图像时，包括用于：将左图像和右图像分别进行灰度化处理，获取灰度化的左图像和右图像；分别获取灰度化的左图像和右图像在每行上的每个像素点的梯度值；从右到左依序统计灰度化的左图像在每列上的梯度值的总和，且判断每列的梯度值总和是否大于预先设定的阈值，若大于设定的阈值，则将该列作为新的左边界，截取从该新的左边界至左图像的右边界的图像作为有效的待拼接的左图像；若非大于设定的阈值，则往左移动一列，继续统计下一列的梯度值总和；从左到右依序统计灰度化的右图像在每列上的梯度值的总和，且判断每列的梯度值总和是否大于预先设定的阈值，若大于设定的阈值，则将该列作为新的左边界，截取从该新的左边界至左图像的右边界的图像作为有效的待拼接的右图像；若非大于设定的阈值，则往右移动一列，继续统计下一列的梯度值总和。进一步地，所述处理器或后端处理平台在剔除两个MIPI摄像头拍摄的图像中被人脸遮挡的区域，以获取有效的两个待拼接的图像后，再分别获取左图像和右图像中重叠的区域，以左图像和右图像中重叠的区域作为所述有效的两个待拼接的图像。进一步地，所述处理器或后端处理平台用于通过SURF算法、ORB算法或者SIFT算法分别提取有效的待拼接的左图像和有效的待拼接的右图像中的特征点，并对有效的待拼接的左图像和有效的待拼接的右图像中的特征点进行配准。进一步地，在对有效的待拼接的左图像和有效的待拼接的右图像中的特征点进行配准之后，所述处理器或后端处理平台还用于通过RANSAC算法剔除掉有效的待拼接的左图像和有效的待拼接的右图像中的误匹配的特征点，以提高配准精度。进一步地，所述处理器或后端处理平台在获取两个MIPI摄像头拍摄的图像后，还获取两个定位装置传送的定位信息，并根据所述定位信息计算两个MIPI摄像头的相对位置，且根据两个MIPI摄像头相对位置查询数据库是否存在其对应的拼接模板数据，若存在，则通过数据库存储的拼接模板数据将两个MIPI摄像头拍摄的图像拼接成初拼接的全景图，并获取拼接模板数据中的掩码图，将掩码图和初拼接的全景图进行融合，获取拼接后的全景图；若不存在对应的拼接模板数据，才剔除两个MIPI摄像头拍摄的图像中被人脸遮挡的区域。以两个MIPI摄像头耳机系统的相对位置为依据，在与数据库中存储的两个MIPI摄像头的相对位置相同时，无需重新确定拼接参数，直接本文档来自技高网...

【技术保护点】
1.一种耳机，包括两个听筒主体，其特征在于，还包括两个MIPI摄像头、MIPI驱动器和处理器；所述两个MIPI摄像头分别设置在所述两个听筒主体上且位于背对佩戴者的一侧；所述处理器通过所述MIPI驱动器与所述两个MIPI摄像头的MIPI接口连接，并获取所述两个MIPI摄像头拍摄的图像。

【技术特征摘要】
1.一种耳机，包括两个听筒主体，其特征在于，还包括两个MIPI摄像头、MIPI驱动器和处理器；所述两个MIPI摄像头分别设置在所述两个听筒主体上且位于背对佩戴者的一侧；所述处理器通过所述MIPI驱动器与所述两个MIPI摄像头的MIPI接口连接，并获取所述两个MIPI摄像头拍摄的图像。2.根据权利要求1所述的耳机，其特征在于，所述两个听筒主体上靠近佩戴者的一侧分别设置有两个扬声器；所述两个扬声器均与所述处理器连接；和/或，所述两个听筒主体上还分别设置有两个麦克风；所述两个麦克风均与所述处理器连接。3.根据权利要求2所述的耳机，其特征在于，还包括两个加速度传感器；所述两个加速度传感器均与所述处理器连接，且将获取的人体运动信息传送到所述处理器。4.根据权利要求3所述的耳机，其特征在于，所述两个听筒主体内嵌设有两个定位装置；所述两个定位装置与所述处理器连接，并将定位信息传送到所述处理器。5.根据权利要求4所述的耳机，其特征在于，还包括耳机线；所述两个MIPI摄像头均经由所述耳机线和MIPI驱动器与所述处理器连接，所述两个扬声器、和/或两个麦克风、和/或两个加速度传感器、和/或两个定位装置均经由所述耳机线与所述处理器连接。6.根据权利要求1所述的耳机，其特征在于，还包括嵌设在处理器表面且与处理器连接的一个或多个按键；所述按键与所述处理器连接，且所述按键控制所述两个MIPI摄像头的拍摄操作。7.一种耳机系统，其特征在于，包括权利要求1-6中任一权利要求所述的耳机，还包括后端处理平台和USB通讯装置；所述后端处理平台通过所述USB通讯装置与所述处理器连接，并获取所述处理器传送的两个MIPI摄像头拍摄的图像。8.根据权利要求7所述的耳机系统，其特征在于，所述处理器或所述后端处理平台用于：获取两个MIPI摄像头拍摄的图像；剔除两个MIPI摄像头拍摄的图像中被人脸遮挡的区域，以获取有效的两个待拼接的图像；提取有效的两个待拼接的图像中的特征点，并对有效的两个待拼接的图像的特征点进行配准；根据配准的特征点统一有效的两个待拼接的图像的坐标系，以获得初拼接的全景图；在初拼接的全景图中找寻拼接缝并生成掩码图像；将掩码图和初拼接的全景图进行融合，获取拼接后的全景图。9.根据权利要求8所述的耳机系统，其特征在于，所述两个听筒主体为设置在佩戴者左耳一侧的左听筒主体，以及设置在佩戴者右耳一侧的右听筒主体；所述两个MIPI摄像头为设置在左听筒主体且背对佩戴者左耳的一侧的左MIPI摄像头，以及设置在右听筒主体且背对佩戴者右耳的一侧的右MIPI摄像头；所述左MIPI摄像头与所述右MIPI摄像头为视场角为120-220度的广角摄像头；所述两个MIPI摄像头拍摄的图像为左MIPI摄像头拍摄的左图像，以及右MIPI摄像头拍摄的右图像。10.根据权利要求8所述的耳机系统，其特征在于，所述处理器或后端处理平台用于剔除两个MIPI摄像头拍摄的图像中被人脸遮挡的区域，以获取有效的两个待拼接的图像时，包括用于：将左图像和右图像分别进行灰度化处理，获取灰度化的左图像和右图像；分别获取灰度化的左图像和右图像在每行上的每个像素点的梯度值；从右到左依序统计灰度化的左图像在每列上的梯度值的总和，且判断每列的梯度值总和是否大于预先设定的阈值，若大于设定的阈值，则将该列作为新的左边界，截取从该新的左边界至左图像的右边界的图像作为有效的待拼接的左图像；若非大于设定的阈值，则往左移动一列，继续统计下一列的梯度值总和；从左到右依序统计灰度化的右图像在每列上的梯度值的总和，且判断每列的梯度值总和是否大于预先设定的阈值，若大于设定的阈值，则将该列作为新的左边界，截取从该新的左边界至左图像的右边界的图像作为有效的待拼接的右图像；若非大于设定的阈值，则往右移动一列，继续统计下一列的梯度值总和。11.根据权利要求10所述的耳机系统，其特征在于，所述处理器或后端处理平台在剔除两个MIPI摄像头拍摄的图像中被人脸遮挡的区域，以获取有效的两个待拼接的图像后，再分别获取左图像和右图像中重叠的区...

【专利技术属性】
技术研发人员：李文杰，
申请(专利权)人：广州希脉创新科技有限公司，
类型：发明
国别省市：广东,44