耳形状分析方法、耳形状分析装置以及耳形状模型生成方法制造方法及图纸

计算机通过将主成分权重向量应用于指示耳形状数据集与主成分权重向量之间的关系的耳形状模型来生成耳形状数据，每个耳形状数据集表示表示耳的三维形状的点组与表示参考耳的三维形状的点组之间的差，并且每个主成分权重向量指示相应耳形状数据集的主成分的权重。计算机从生成的耳形状数据中识别与通过图像数据表示的目标耳图像相对应的目标耳的所估计的三维形状。

Ear shape analysis method, ear shape analysis device and ear shape model generation method

The computer generates ear shape data by applying the principal component weight vector to the ear shape model that indicates the relationship between the ear shape data set and the principal component weight vector. Each ear shape data set represents the difference between the point group representing the three-dimensional shape of the ear and the point group representing the three-dimensional shape of the reference ear, and each principal component The weight vector indicates the weight of the principal components of the corresponding ear shape data set. The computer identifies the three-dimensional shape estimated from the generated ear shape data corresponding to the target ear corresponding to the target ear image represented by the image data.

【技术实现步骤摘要】
【国外来华专利技术】耳形状分析方法、耳形状分析装置以及耳形状模型生成方法
本专利技术涉及一种用于分析在计算头部相关传递函数中使用的耳形状的技术。
技术介绍
通过卷积在音频信号中的头部相关传递函数渲染表示声音的音频信号(双耳回放)使得听众能够以真实的感觉感知声场，在该声场中可以清楚地感知声像的位置。例如，头部相关传递函数可以根据记录在听众的头部或给定形状的虚拟头部的耳孔处的声音进行计算。然而，使用虚拟头部进行计算涉及以下问题：如果听众的头部以及虚拟头部的形状彼此不匹配，则听众不能够适当地感知声像的位置。直接从听众的头部测量头部相关传递函数还涉及以下问题：在测量期间对听众造成巨大的身心负担。在上述
技术介绍
下，例如，非专利文献1提出一种根据已从不同方向捕获的听众的头部的图像来计算听众的头部相关传递函数的技术。具体来说，通过使用使预先准备的标准头部形状变形以类似于在图像中捕获的听众的头部形状的变形技术来估计听众的头部形状，并且根据此估计的结果计算听众的头部相关传递函数。相关技术文献非专利文献非专利文献1：DellepianeMatteo等人的“从照片重构头部模型以进行个体化3D音频处理(Reconstructingheadmodelsfromphotographsforindividualized3Daudioprocessing)”，计算机图形论坛，第27卷第7期，布莱克威尔出版有限公司，2008年。
技术实现思路
将通过本专利技术解决的问题在非专利文献1的技术中，通过移动(变形)从听众的头部的图像中提取的特征点来估计听众的头部形状，并且存在以下问题：当未适当地执行图像处理(例如，提取特征点)时估计不现实的收缩的头部形状。不适当的图像处理导致无法高精度地估计耳形状。鉴于以上情况，本专利技术的目标是减小错估用于计算头部相关传递函数的耳形状的可能性。解决问题的方式为了解决上述问题，根据本专利技术的优选方面的耳形状分析方法通过计算机执行，所述方法包括：通过将主成分权重向量应用于耳形状模型来生成耳形状数据集，所述耳形状模型指示耳形状数据集与主成分权重向量之间的关系，每个耳形状数据集指示表示耳的三维形状的点组与表示参考耳的三维形状的点组之间的差，并且每个主成分权重向量指示相应耳形状数据集的主成分的权重；以及从由耳形状数据生成器生成的所生成的耳形状数据集识别与由图像数据表示的目标耳图像相对应的目标耳的所估计的三维形状。在上述方面中，从通过将主成分权重向量应用于耳形状模型生成的耳形状数据中识别目标耳的所估计的三维形状，所述耳形状模型指示耳形状数据集与主成分权重向量之间的关系。因此，与通过使给定形状变形(变形)来估计目标耳的三维形状的配置相比，减小错估耳形状的可能性。根据本专利技术的优选方面的耳形状分析装置包括：耳形状数据生成器，其被配置成通过将主成分权重向量应用于耳形状模型来生成耳形状数据集，所述耳形状模型指示耳形状数据集与主成分权重向量之间的关系，每个耳形状数据集指示表示耳的三维形状的点组与表示参考耳的三维形状的点组之间的差，并且每个主成分权重向量指示相应耳形状数据集的主成分的权重；以及耳形状识别器，其被配置成从由耳形状数据生成器生成的耳形状数据集识别与由图像数据表示的目标耳图像相对应的目标耳的所估计的三维形状。在上述方面中，从通过将主成分权重向量应用于耳形状模型生成的耳形状数据中识别目标耳的所估计的三维形状，所述耳形状模型表示耳形状数据集与主成分权重向量之间的关系。因此，与通过使给定形状变形来估计目标耳的三维形状的配置相比，可以减小错估耳形状的可能性。根据本专利技术的优选方面的耳形状模型生成方法通过计算机实施，以生成用于生成候选耳图像以与通过图像数据表示的目标耳图像相比较的耳形状模型，所述方法包括：针对多个样本耳生成多个耳形状数据集，每一个指示表示相应样本耳的三维形状的点组与表示参考耳的三维形状的点组之间的差；以及通过对多个所生成的耳形状数据集执行主成分分析，计算用于将耳形状数据变换成指示主成分的权重的主成分权重向量的变换矩阵，以生成包括所述变换矩阵或所述变换矩阵的逆矩阵的所述耳形状模型。在上述方面中，用于估计目标耳的三维形状的耳形状模型反映多个样本耳的三维形状的统计倾向。因此，获得以下优势：可以高精度地估计目标耳的三维形状。附图说明图1是示出根据本专利技术的第一实施例的音频处理装置的配置的框图。图2是示出耳形状模型生成器的配置的框图。图3是示出样本耳分析过程的流程的流程图。图4是说明示例耳分析过程的图式。图5是示出统计过程的流程的流程图。图6是示出耳形状模型生成过程的流程的流程图。图7是示出耳形状分析器的配置的框图。图8是说明耳形状数据生成器的操作的图式。图9是示出图像生成过程的流程的流程图。图10是示出函数计算过程的流程的流程图。图11是说明用于计算头部相关传递函数的目标形状的图式。图12是示出耳形状分析过程的流程的流程图。图13是示出音频处理器的配置的框图。图14是示出根据第二实施例的耳形状数据生成器的操作的流程的流程图。图15是说明根据第二实施例的耳形状数据生成器的操作的图式。图16是示出根据第四实施例的音频处理系统的配置的框图。图17是示出根据第五实施例的耳形状分析器的配置的框图。图18是说明用于第五实施例中的神经网络的图式。图19是示出根据第五实施例的耳形状分析过程的流程的流程图。图20是示出根据第五实施例的耳形状模型生成器的配置的框图。图21是示出根据修改的音频处理器的配置的框图。图22是示出根据修改的音频处理器的配置的框图。具体实施方式用于执行本专利技术的模式第一实施例图1是示出根据本专利技术的第一实施例的音频处理装置100的配置的框图。如图1中所示，信号供应装置12和声音输出装置14连接到第一实施例的音频处理装置100。信号供应装置12将表示声音——诸如语音或音乐声的音频信号XA供应到音频处理装置100。信号供应装置12的具体示例包括：接收周围环境中的声音以生成音频信号XA的声音接收装置；以及从记录介质(便携式或内嵌式)获取音频信号XA并且将其供应到音频处理装置100的回放装置。音频处理装置100是信号处理装置，该信号处理装置通过将音频处理应用于从信号供应装置12供应的音频信号XA来生成音频信号XB。音频信号XB是具有两个(左和右)声道的立体声信号。具体来说，音频处理装置100通过将特定用户(下文称为“对象”)的头部相关传递函数(HRTF)卷积到音频信号XA中来生成音频信号XB。声音输出装置14(头戴式耳机、耳机等)是附接到听众的两个耳并且输出声音的音频设备，该声音与由音频处理装置100生成的音频信号XB一致。收听从声音输出装置14输出的回放声音的用户能够清楚地感知声音成分的声音源的位置。为了方便起见，已从图中省略将由音频处理装置100生成的音频信号XB从数字转换成模拟的D/A转换器。信号供应装置12和声音输出装置14两者或任一个可以安装在音频处理装置100中。如图1中所示，通过包括控制装置22和存储装置24的计算机系统实现音频处理装置100。存储装置24将由控制装置22执行的程序以及由控制装置22使用的各种数据存储在其中。自由选择的形式的已知存储介质，诸如半导体存储介质或磁性存储介质，或各种类型的存储介质的组合可以用作存储装置24。音频信号X本文档来自技高网...

【技术保护点】
一种由计算机实施的耳形状分析方法，所述方法包括：通过将主成分权重向量应用于耳形状模型来生成耳形状数据集，所述耳形状模型指示耳形状数据集与主成分权重向量之间的关系，每个耳形状数据集指示表示耳的三维形状的点组与表示参考耳的三维形状的点组之间的差，并且每个主成分权重向量指示相应耳形状数据集的主成分的权重；以及从所生成的耳形状数据集识别与由图像数据表示的目标耳图像相对应的目标耳的所估计的三维形状。

【技术特征摘要】
【国外来华专利技术】2015.09.14 JP 2015-1809931.一种由计算机实施的耳形状分析方法，所述方法包括：通过将主成分权重向量应用于耳形状模型来生成耳形状数据集，所述耳形状模型指示耳形状数据集与主成分权重向量之间的关系，每个耳形状数据集指示表示耳的三维形状的点组与表示参考耳的三维形状的点组之间的差，并且每个主成分权重向量指示相应耳形状数据集的主成分的权重；以及从所生成的耳形状数据集识别与由图像数据表示的目标耳图像相对应的目标耳的所估计的三维形状。2.根据权利要求1所述的耳形状分析方法，其中所生成的耳形状数据集是多个耳形状数据集中的一个，所述多个耳形状数据集中的每个对应于多个候选耳中的一个，以及生成所述耳形状数据集包括：将包括所述主成分权重向量的多个主成分权重向量中的每一个应用于所述耳形状模型，以生成所述多个耳形状数据集中的每一个，以及识别所估计的三维形状包括，针对所述多个候选耳生成多个候选耳图像，所述多个候选耳图像中的每个候选耳图像根据表示所述参考耳的三维形状的点组以及相应候选耳的所述耳形状数据集来表示相应候选耳，以及将由所述图像数据表示的所述目标耳图像与针对所述多个候选耳生成的所述多个候选耳图像中的每一个相比较，以将与来自所述多个候选耳图像之中的、具有在所述目标耳图像与各个候选耳图像之间存在的差异之中的最小差异的候选耳图像相对应的候选耳所对应的耳形状识别为所述目标耳的所估计的三维形状。3.根据权利要求2所述的耳形状分析方法，其中生成每个候选耳图像包括：生成从符合与在捕获由所述图像数据表示的所述目标耳时使用的条件接近的条件的视点观察到的每个候选耳的候选耳图像。4.根据权利要求2或3所述的耳形状分析方法，其中生成所述耳形状数据集包括，将所述主成分权重向量中的每一个应用于所述耳形状模型，以生成每个候选耳的所述耳形状数据集，所述耳形状数据集包括与构成第一组的各个点相对应的多个变换向量，所述第一组是所述参考耳的点组的一部分，并且通过包括在每个候选耳的所述耳形状数据集中的所述多个变换向量的插值，生成与构成所述参考耳的点组的第二组的各个点相对应的变换向量，所述第二组由所述参考耳的点组中的除了构成所述第一组的点之外的所有点构成，以及生成每个候选耳图像包括通过以下方式生成每个候选耳图像：根据所述候选耳的所述耳形状数据集的所述多个变换向量中的相应一个变换向量，移动构成所述参考耳的点组的所述第一组的点中的每一个；并且根据通过所述插值生成的所述变换向量中的相应一个变换向量，移动构成所述参考耳的点组的所述第二组的点中的每一个。5.根据权利要求1所述的耳形状分析方法，进一步包括：通过将由所述图像数据表示的所述目标耳图像应用于指示耳图像与主成分权重向量之间的关系的神经网络来生成主成分权重向量，其中生成所述耳形状数据集包括：通过将由所述神经网络生成的主成分权重向量应用于所述耳形状模型来生成所述目标耳的耳形状数据集，以及识别所估计的三维形状包括：根据表示所述参考耳的三维形状的点组以及所述目标耳的所述耳形状数据集，识别所述目标耳的所估计的三维形状。6.根据权利要求1到5中的任一项所述的耳形状分析方法，进一步包括：计算与所估计的三维形状相对应的头部相关传递函数。7.根据权利要求6所述的...

【专利技术属性】
技术研发人员：金子昌贤，
申请(专利权)人：雅马哈株式会社，
类型：发明
国别省市：日本,JP