定向传声方法及终端技术

本发明专利技术提供了一种定向传声方法及终端，其中，该方法包括：通过移动终端的摄像装置获取用户面部特征点的像素坐标；根据摄像装置的内参数和摄像装置的外参数获取与该用户面部特征点的像素坐标对应的世界坐标；其中，摄像装置的内参数包括该摄像装置的光学和几何特征参数；摄像装置的外参数采用该摄像装置标定方法获取；根据世界坐标控制移动终端向该用户面部特征点的方向传输声音。通过本发明专利技术解决了现有技术中不能准确地获取移动终端与用户头部之间的相对距离和方位，导致定向传声精度较差的问题，进而提高了定向传声的准确度。

Directional transmission method and terminal

The invention provides a directional microphone and a terminal method, the method includes: acquiring user pixel coordinates of facial feature points through the imaging device of a mobile terminal; according to the internal parameters of camera device and camera device parameters and the user gets the facial feature points as the world coordinate coordinates corresponding to the inside; the parameters of camera device including the camera optical and geometric parameters of the device; using the camera external parameters calibration method for camera device; according to the world coordinate control of the mobile terminal to the user of facial feature points to the transmission of sound. The invention solves in the prior art can not accurately obtain the relative distance and orientation between the mobile terminal and the user's head, causing the problem of poor directional transaudient precision, thus improving the accuracy of directional transaudient.

【技术实现步骤摘要】
定向传声方法及终端
本专利技术涉及通信
，具体涉及一种定向传声方法及终端。
技术介绍
声频定向的原理早在半个世纪前就开始研究，在理论与实践上都取得了许多成果。近年来，随着社会的进步，以手机为代表的便携移动设备越来越多的应用于社会各个角落。人们在各种场合使用移动设备进行工作商务、娱乐休闲等活动时，往往会用到音频设备。但传统的音频设备在公共场合使用往往会造成噪声，且无法保证隐私，使用耳机可以一定程度上解决问题，但长时间使用耳机对人耳不利，会造成听力永久性损伤。在这样的前提下，基于声频定向技术的微型声频定向研究自然而然成为相关领域的关注热点。目前而言，针对移动设备的微型声频定向系统还处于尝试阶段，相关领域根据已有的声频定向研究成果，提出了一些用于移动设备的定向传声技术方案，但现有技术中对于用户头部和移动设备之间的定位精确度不高。
技术实现思路
有鉴于此，本专利技术实施例提供了一种定向传声方法及终端，以解决现有技术中不能准确地获取移动终端与用户头部之间的相对距离和方位，进而导致定向传声精度较差的问题。为此，本专利技术实施例提供了如下技术方案：本专利技术第一方面，提供了一种定向传声方法，包括：通过移动终端的摄像装置获取用户面部特征点的像素坐标；根据所述摄像装置的内参数和所述摄像装置的外参数获取与所述用户面部特征点的像素坐标对应的世界坐标；其中，所述摄像装置的内参数包括所述摄像装置的光学和几何特征参数；所述摄像装置的外参数采用所述摄像装置标定方法获取；根据所述世界坐标控制所述移动终端向所述用户面部特征点的方向传输声音。结合本专利技术第一方面，本专利技术第一方面第一实施方式中，根据所述摄像装置的内参数和所述摄像装置的外参数获取与所述用户面部特征点的像素坐标对应的世界坐标包括：根据所述摄像装置的内参数获取与所述像素坐标对应的摄像装置坐标；根据所述摄像装置的外参数获取与所述摄像装置坐标对应的所述世界坐标。本专利技术第一方面第一实施方式，本专利技术第一方面第二实施方式中，所述摄像装置的内参数对应的内参数矩阵表示为：其中，kx表示为X轴放大系数，ky表示Y轴放大系数，(uo，vo)表示与所述用户面部特征点对应的图像坐标系的原点在像素坐标系所对应的坐标；所述摄像装置的外参数对应的外参数矩阵表示为：其中，分量分别表示世界坐标系各坐标轴在摄像装置坐标系下的方向向量，为位移向量，表示世界坐标系原点在摄像装置坐标系中的位置。本专利技术第一方面第二实施方式，本专利技术第一方面第三实施方式中，通过如下公式根据所述摄像装置的内参数获取与所述像素坐标对应的摄像装置坐标：通过如下公式根据所述摄像装置的外参数获取与所述摄像装置坐标对应的所述世界坐标：其中，世界坐标系：(xW，yW，zW)；摄像装置坐标系：(xC，yC，zC)，图像坐标系：(x，y)，像素坐标系：(u，v)。结合本专利技术第一方面、第一方面第一实施方式、第一方面第二实施方式或者第一方面第三实施方式，本专利技术第一方面第四实施方式中，根据所述世界坐标控制所述移动终端向所述用户面部特征点的方向传输声音之后，还包括：通过所述移动终端的传感器获取用户面部特征点相对于所述移动终端的变化参数；根据所述变化参数实时获取与所述用户面部特征点的像素坐标对应的世界坐标。本专利技术第二方面，提供了一种定向传声终端，包括：第一获取模块，用于通过移动终端的摄像装置获取用户面部特征点的像素坐标；第二获取模块，用于根据所述摄像装置的内参数和所述摄像装置的外参数获取与所述用户面部特征点的像素坐标对应的世界坐标；其中，所述摄像装置的内参数包括所述摄像装置的光学和几何特征参数；所述摄像装置的外参数采用所述摄像装置标定终端获取；传输模块，用于根据所述世界坐标控制所述移动终端向所述用户面部特征点的方向传输声音。结合本专利技术第二方面，本专利技术第二方面第一实施方式中，所述第二获取模块包括：第一获取单元，用于根据所述摄像装置的内参数获取与所述像素坐标对应的摄像装置坐标；第二获取单元，用于根据所述摄像装置的外参数获取与所述摄像装置坐标对应的所述世界坐标。结合本专利技术第二方面第一实施方式，本专利技术第二方面第二实施方式中，所述摄像装置的内参数对应的内参数矩阵表示为：其中，kx表示为X轴放大系数，ky表示Y轴放大系数，(uo，vo)表示与所述用户面部特征点对应的图像坐标系的原点在像素坐标系所对应的坐标；所述摄像装置的外参数对应的外参数矩阵表示为：其中，分量分别表示世界坐标系各坐标轴在摄像装置坐标系下的方向向量，为位移向量，表示世界坐标系原点在摄像装置坐标系中的位置。结合本专利技术第二方面第二实施方式，本专利技术第二方面第三实施方式中，所述第一获取单元还用于通过如下公式根据所述摄像装置的内参数获取与所述像素坐标对应的摄像装置坐标：所述第二获取单元还用于通过如下公式根据所述摄像装置的外参数获取与所述摄像装置坐标对应的所述世界坐标：其中，世界坐标系：(xW，yW，zW)；摄像装置坐标系：(xC，yC，zC)，图像坐标系：(x，y)，像素坐标系：(u，v)。结合本专利技术第二方面、第二方面第一实施方式、第二方面第二实施方式或者第二方面第三实施方式，本专利技术第二方面第四实施方式中，所述终端还包括：第三获取模块，用于根据所述世界坐标控制所述移动终端向所述用户面部特征点的方向传输声音之后，通过所述移动终端的传感器获取用户面部特征点相对于所述移动终端的变化参数；第四获取模块，用于根据所述变化参数实时获取与所述用户面部特征点的像素坐标对应的世界坐标。本专利技术第三方面提供了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器执行如下步骤：通过移动终端的摄像装置获取用户面部特征点的像素坐标；根据所述摄像装置的内参数和所述摄像装置的外参数获取与所述用户面部特征点的像素坐标对应的世界坐标；其中，所述摄像装置的内参数包括所述摄像装置的光学和几何特征参数；所述摄像装置的外参数采用所述摄像装置标定方法获取；根据所述世界坐标控制所述移动终端向所述用户面部特征点的方向传输声音。本专利技术实施例技术方案，具有如下优点：本专利技术实施例提供了一种定向传声方法及终端，通过移动终端的摄像装置获取用户面部特征点的像素坐标；根据摄像装置的内参数和摄像装置的外参数获取与该用户面部特征点的像素坐标对应的世界坐标；其中，摄像装置的内参数包括该摄像装置的光学和几何特征参数，例如可以是焦距、图像中心点等光学和几何特征；摄像装置的外参数采用该摄像装置标定方法获取，该标定方法可以是基于二维靶标的标定方法，通过该世界坐标可以进一步精确定位移动终端与用户头部之间的距离和方位，根据世界坐标控制移动终端向该用户面部特征点的方向传输声音。通过本专利技术解决了现有技术中不能准确地获取移动终端与用户头部之间的相对距离和方位，导致定向传声精度较差的问题，进而提高了定向传声的准确度。附图说明为了更清楚地说明本专利技术具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图本文档来自技高网...

【技术保护点】
一种定向传声方法，其特征在于，包括：通过移动终端的摄像装置获取用户面部特征点的像素坐标；根据所述摄像装置的内参数和所述摄像装置的外参数获取与所述用户面部特征点的像素坐标对应的世界坐标；其中，所述摄像装置的内参数包括所述摄像装置的光学和几何特征参数；所述摄像装置的外参数采用所述摄像装置标定方法获取；根据所述世界坐标控制所述移动终端向所述用户面部特征点的方向传输声音。

【技术特征摘要】
1.一种定向传声方法，其特征在于，包括：通过移动终端的摄像装置获取用户面部特征点的像素坐标；根据所述摄像装置的内参数和所述摄像装置的外参数获取与所述用户面部特征点的像素坐标对应的世界坐标；其中，所述摄像装置的内参数包括所述摄像装置的光学和几何特征参数；所述摄像装置的外参数采用所述摄像装置标定方法获取；根据所述世界坐标控制所述移动终端向所述用户面部特征点的方向传输声音。2.根据权利要求1所述的方法，其特征在于，根据所述摄像装置的内参数和所述摄像装置的外参数获取与所述用户面部特征点的像素坐标对应的世界坐标包括：根据所述摄像装置的内参数获取与所述像素坐标对应的摄像装置坐标；根据所述摄像装置的外参数获取与所述摄像装置坐标对应的所述世界坐标。3.根据权利要求2所述的方法，其特征在于，所述摄像装置的内参数对应的内参数矩阵表示为：其中，kx表示为X轴放大系数，ky表示Y轴放大系数，(uo，vo)表示与所述用户面部特征点对应的图像坐标系的原点在像素坐标系所对应的坐标；所述摄像装置的外参数对应的外参数矩阵表示为：其中，分量分别表示世界坐标系各坐标轴在摄像装置坐标系下的方向向量，为位移向量，表示世界坐标系原点在摄像装置坐标系中的位置。4.根据权利要求3所述的方法，其特征在于，通过如下公式根据所述摄像装置的内参数获取与所述像素坐标对应的摄像装置坐标：通过如下公式根据所述摄像装置的外参数获取与所述摄像装置坐标对应的所述世界坐标：其中，世界坐标系：(xW，yW，zW)；摄像装置坐标系：(xC，yC，zC)，图像坐标系：(x，y)，像素坐标系：(u，v)。5.根据权利要求1至4中任一所述的方法，其特征在于，根据所述世界坐标控制所述移动终端向所述用户面部特征点的方向传输声音之后，还包括：通过所述移动终端的传感器获取用户面部特征点相对于所述移动终端的变化参数；根据所述变化参数实时获取与所述用户面部特征点的像素坐标对应的世界坐标。6.一种定向传声终端，其特征在于，包括：第一获取...

【专利技术属性】
技术研发人员：姜瑜，
申请(专利权)人：宇龙计算机通信科技深圳有限公司，
类型：发明
国别省市：广东,44