评分装置以及评分方法制造方法及图纸

本发明专利技术涉及评分装置以及评分方法。提供能够使歌唱者更加享受歌唱行为的技术。本发明专利技术的评分装置的特征在于，具有：取得部件，取得拍摄到歌唱者的图像数据；检测部件，根据由所述取得部件取得的图像数据，检测与歌唱中的表情或面部的运动有关的特征作为所述歌唱者的面部的特征；计算部件，基于由所述检测部件检测到的特征，计算对于所述歌唱者的歌唱行为的得分；以及输出部件，输出所述得分。

【技术实现步骤摘要】

本专利技术涉及计算对于歌唱者的歌唱行为的得分的。
技术介绍
作为播放卡拉0K的乐曲的卡拉0K装置，存在能够计算对于歌唱者的歌唱行为的得分的卡拉0K装置。计算对于歌唱行为的得分的功能被称为“评分功能”等。在以往的评分功能中，基于歌唱行为中的音程、抑扬、声量等与声音相关的信息来计算得分。歌唱者通过利用上述评分功能，能够以得分来确认歌唱行为的结果，能够更加享受歌唱行为。用于使歌唱者更加享受歌唱行为的其他功能也被实用化。例如，利用互联网来显示对于歌唱行为的得分的全国排行的功能、通过对于歌唱行为的得分来进行bingo游戏的功能、变换歌唱者的声音而从扬声器输出的功能等被实用化。此外，作为用于使歌唱者更加享受歌唱行为的技术，存在专利文献1中公开的技术。在专利文献1中公开的技术中，听者的感情被估计，基于估计结果来编辑卡拉0K的视频。由于卡拉0K装置被用作娱乐装置的情况较多，所以向用于使歌唱者更加享受歌唱行为的功能的需求高。现有技术文献专利文献专利文献1:(日本)特开2009 - 288446号公报
技术实现思路
本专利技术的目的在于，提供能够使歌唱者更加享受歌唱行为的技术。为了达成上述目的，本专利技术采用以下的结构。本专利技术的评分装置的特征在于，具有:取得部件，取得拍摄到歌唱者的图像数据；检测部件，根据由所述取得部件取得的图像数据，检测与歌唱中的表情或面部的运动有关的特征作为所述歌唱者的面部的特征；计算部件，基于由所述检测部件检测到的特征，计算对于所述歌唱者的歌唱行为的得分；以及输出部件，输出所述得分。在本专利技术的评分装置中，作为对于歌唱者的歌唱行为的得分的计算基准之一，考虑以往没有考虑到的歌唱者的面部的特征(与歌唱中的表情或面部的运动有关的特征)。由此，能够使歌唱者更加注重唱法，能够使其更加享受歌唱行为。此外，能够扩大更加享受歌唱行为的歌唱者的层。例如，即使是对歌声没有自信的人，也能够通过努力做出表情等从而能够获得较高的得分，因此能够更加享受歌唱行为。面部的特征例如是表情、面部器官的运动的大小、面部器官的特征点的位置关系、视线方向、睁眼状态、特征点附近的深浅值、特征点附近的深浅值的周期性、特征点附近的深浅值的方向性、颜色分布、亮度分布等。此外，优选所述图像数据是运动图像的图像数据，所述检测部件在所述运动图像的每N帧(N为1以上的整数)中，检测所述歌唱者的面部的特征，所述计算部件基于所述每N帧的特征来计算所述得分。通过设为这样的结构，能够得到更适当的值作为对于歌唱者歌唱乐曲整体的歌唱行为的得分。此外，能够使歌唱者在乐曲整体上更加注重唱法。其结果，能够使歌唱者更加享受歌唱行为。此外，优选对所述歌唱者歌唱的乐曲预先决定目标的特征，所述计算部件将由所述检测部件检测到的特征与所述目标的特征进行比较，基于其比较结果来计算所述得分。例如，优选对所述歌唱者歌唱的乐曲预先决定目标的表情，所述检测部件检测在所述乐曲的至少一部分期间即评分期间中的所述歌唱者的表情，所述计算部件计算在所述评分期间之中检测到与所述目标的表情一致的表情的期间的长度的总和越大则越高的值作为所述得分。或者，优选所述目标的特征是从图像数据提取的特征矢量，所述检测部件从由所述取得部件取得的图像数据提取所述歌唱者的面部的特征矢量，所述计算部件计算由所述检测部件提取到的特征矢量和目标的特征矢量之间的类似度，基于所计算出的类似度来计算所述得分。目标的特征例如是乐曲的提供者所意图的特征。因此，通过设为这样的结构，能够得到更适于乐曲的提供者的意图的得分。此外，优选对所述歌唱者歌唱的乐曲预先决定目标的表情，所述检测部件关于预先决定的多个表情的每个表情，计算该表情和所述歌唱者的表情之间的类似度，所述计算部件基于与所述目标的表情对应的类似度来计算所述得分。通过设为这样的结构，也能够得到更适于乐曲的提供者的意图的得分。此外，优选对所述歌唱者歌唱的乐曲预先决定应使面部的特征变化而歌唱的时间位置即特征变化位置，所述计算部件基于所述特征变化位置上的由所述检测部件检测到的特征的变化的大小来计算所述得分。通过设为这样的结构，也能够得到更适于乐曲的提供者的意图的得分。此外，优选在所述歌唱者歌唱的乐曲的每个期间中，预先决定目标的面部的特征。例如，优选在所述歌唱者歌唱的乐曲的每小段中，预先决定目标的面部的特征。通过设为这样的结构，能够使歌唱者在每个期间(每小段)更加注重唱法，能够使其更加享受歌唱行为。此外，优选所述计算部件在所述歌唱者歌唱的乐曲的每小段中，基于在所述歌唱者正在歌唱该小段时的所述歌唱者的面部的特征，计算对于所述歌唱者歌唱该小段的歌唱行为的得分即部分得分。通过设为这样的结构，能够得到每小段的得分，因此能够使歌唱者更加享受歌唱行为。例如，能够使歌唱者掌握歌唱小段的歌唱行为是哪个程度的等级，能够使歌唱者掌握应努力做出面部的特征的小段。其结果，能够使歌唱者在每小段更加注重唱法，能够使其更加享受歌唱行为。此外，优选所述计算部件基于所述每小段的部分得分，计算对于所述歌唱者歌唱所述乐曲整体的歌唱行为的得分即整体得分。通过设为这样的结构，不仅能够得到每小段的得分(部分得分)，还能够得到乐曲整体的得分(整体得分)，因此能够使歌唱者更加享受歌唱行为。例如，由于能够使歌唱者掌握歌唱乐曲整体的歌唱行为是哪个程度的等级，所以能够使歌唱者更加享受歌唱行为。这样得到的各得分通过输出部件而被输出至评分装置的外部。所输出的得分也可以作为数值而显示在显示装置中，也可以变换为预先与得分建立关联而定义的消息而显示在显示装置中，此外，也可以作为在显示装置中显示的登场人物的运动或表情、从扬声器输出的声音、设置有卡拉OK装置的房间的照明等的变化而被利用。像这样，通过以外部的装置能够利用的方式输出各得分，能够向歌唱者反馈得分，能够使歌唱者更加享受歌唱行为。此外，本专利技术也可以作为具有上述部件的至少一部分的评分装置而理解，还能够作为包含上述处理的至少一部分的评分方法、或者用于实现该方法的模拟程序或记录有该程序的记录介质而理解。另外，上述部件以及处理的各个能够尽可能相互组合而构成本专利技术。根据本专利技术，能够使歌唱者更加享受歌唱行为。【附图说明】图1是表示实施例1?5所涉及的卡拉0K系统的结构的一例的图。图2是表示实施例1?5所涉及的评分装置的功能结构的一例的框图。图3是表示实施例1所涉及的评分装置的动作的流程的一例的流程图。图4是表示实施例1所涉及的评分装置的动作的具体例的图。图5是表示实施例2所涉及的评分装置的动作的流程的一例的流程图。图6是表示实施例2所涉及的评分装置的动作的具体例的图。图7是表示实施例3所涉及的评分装置的动作的流程的一例的流程图。图8是表示实施例3所涉及的评分装置的动作的具体例的图。图9是表示实施例4所涉及的评分装置的动作的流程的一例的流程图。图10是表示实施例4所涉及的评分装置的动作的具体例的图。图11是表示实施例5所涉及的评分装置的动作的流程的一例的流程图。图12是表示实施例5所涉及的评分装置的动作的具体例的图。图13是表示实施例1所涉及的表情的检测方法的一例的图。图14是表示实施例1所涉及的正确答案表情的决定方法的一例的图。图15是表示实施例1所涉及的正确答案表情的决定方法的一例的流程图。图16是表示实施例1本文档来自技高网...

【技术保护点】
一种评分装置，其特征在于，具有：取得部件，取得拍摄到歌唱者的图像数据；检测部件，根据由所述取得部件取得的图像数据，检测与歌唱中的表情或面部的运动有关的特征作为所述歌唱者的面部的特征；计算部件，基于由所述检测部件检测到的特征，计算对于所述歌唱者的歌唱行为的得分；以及输出部件，输出所述得分。

【技术特征摘要】
...

【专利技术属性】
技术研发人员：村上达哉，张立舟，
申请(专利权)人：欧姆龙株式会社，
类型：发明
国别省市：日本;JP