用于多媒体信号识别的电子装置及其操作方法制造方法及图纸

根据多个实施例的用于多媒体信号识别的电子装置及其操作方法，能够将检测的信号分割成多个帧，并且将各个帧分割成多个块，并基于各个块的时间特性和频率特性将各个块表现为散列字符。

【技术实现步骤摘要】
用于多媒体信号识别的电子装置及其操作方法
多个实施例涉及一种用于多媒体信号识别的电子装置及其操作方法(ElectronicApparatusForRecognitionMultimediaSignalAndOperatingMethodOfTheSame)。
技术介绍
近年来在通信环境提供QbH(querybyhumming)服务。为了提供这样的服务，服务器存储大量的与音频文件相关的信息。客户端将具有需要检索的旋律的音频信号传送给服务器，服务器将与音频信号最类似的音频文件的信息反馈给客户端。为此，服务器需要将音频信号与大量的音频文件分别进行比较。通常，服务器基于音频信号的特性来生成音频指纹，以便与音频文件进行比较。此时，服务器在音频信号中仅仅基于根据频率方向的能量分布来生成指纹。因此，指纹有可能由于音频信号中噪声的频率成分而产生失真。由此，存在服务器利用指纹来检索音频文件时准确度下降的问题。
技术实现思路
多个实施例提供一种电子装置及其操作方法，该电子装置及其操作方法可以使从多媒体信号生成的指纹的失真最小化。多个实施例提供一种电子装置及其操作方法，该电子装置及其操作方法可以在利用指纹来检索多媒体文件时提高准确度。根据多个实施例的电子装置的操作方法，可以包括将检测的信号分割成多个帧的操作、将上述各个帧分割成多个块的操作、以及基于上述各个块的时间特性和频率特性将上述各个块表现为散列字符的操作。根据多个实施例的电子装置，可以包括输入模块以及处理器，该处理器用于生成通过上述输入模块检测的信号的指纹。根据多个实施例，上述处理器可以用于，将检测的信号分割成多个帧，并且将上述各个帧分割成多个块，并且基于上述各个块的时间特性和频率特性将上述各个块表现为散列字符。根据多个实施例的非暂时性(non-transitory)计算机可读(computer-readable)存储(storage)介质(medium)，可以存储用于运行将检测的信号分割成多个帧的操作、将上述各个帧分割成多个块的操作、以及基于上述各个块的时间特性和频率特性将上述各个块表现为散列字符的操作的一个以上的程序。根据多个实施例，电子装置不仅基于检测的信号的频率特性，还基于时间特性来表示散列字符，从而可以生成信号的指纹。由此，电子装置可以使指纹的失真最小化。即，即使从信号检测频率特性或时间特性中的某一个时发生错误，也可以基于频率特性或时间特性中的另一个使指纹的失真变为无效。由此，电子装置在生成指纹时可以提高准确度。进一步，电子装置利用指纹来检索多媒体文件时可以提高准确度。附图说明图1是表示根据多个实施例的电子装置的图。图2是表示根据多个实施例的电子装置的操作方法的图。图3是表示图2的指纹生成操作的图。图4a、图4b、图5a、图5b、图6a、图6b、图6c、图6d、图7a、图7b、图7c以及图7d是用于说明多媒体信号的特性的图。图8是用于说明多媒体信号的指纹的图。图9a、图9b、图9c以及图9d是用于说明在指纹中得出的特性的图。具体实施方式以下，参照附图说明本文的多个实施例。根据多个实施例的电子装置可以实现多媒体信号的识别。例如，多媒体信号可以包括音频信号或视频信号中的至少一个。根据一实施例，电子装置存储有多个多媒体文件，并且可以基于多媒体信号来检测多媒体文件中的至少一个。在此，电子装置可以检测多媒体信号的特性和多媒体文件的特性之间的类似度，并且根据类似度检测多媒体文件中的至少一个。根据多个实施例，电子装置可以基于多媒体信号的特性来生成多媒体信号的指纹(fingerprint)。图1是表示根据多个实施例的电子装置100的图。参照图1，根据多个实施例的电子装置100可以包括输入模块110、输出模块120、存储器130、或处理器140中的至少一个。在某个实施例中，可以省略电子装置100的构成要素中的至少一个，或在电子装置100添加一个以上的其它构成要素。输入模块110可以输入使用于电子装置100的至少一个构成要素中的命令或信号。输入模块110可以包括用于用户直接输入命令或数据到电子装置100的输入装置、用于通过感测周边环境来产生信号的传感装置、或用于通过与外部装置(未图示)执行通信来接收命令或数据的通信装置中的至少一个。例如，输入装置可以包括麦克风(microphone)、摄像头(camera)、鼠标(mouse)或键盘(keyboard)中的至少一个。例如，通信装置包括有线通信模块或无线通信模块中的至少一个，且无线通信模块可以通过远程通信网或近距离通信网中的至少一个与外部装置执行通信。输出模块120可以向电子装置100的外部提供信息。输出模块120可以包括以视觉的方式提供信息的显示装置、以听觉的方式提供信息的音频装置、或用于发送信息的通信装置中的至少一个。例如，显示装置可以包括显示器、全息显示装置或投影仪中的至少一个。在某个实施例中，显示装置可以包括设定成用于感测触摸的触控电路(touchcircuitry)、或设定成用于测定通过触摸产生的力的强度的传感电路中的至少一个。例如，通信装置包括有线通信模块或无线通信模块中的至少一个，且无线通信模块可以通过远程通信网或近距离通信网中的至少一个与外部装置执行通信。存储器130可以存储通过电子装置100的至少一个构成要素所使用的多种数据。例如，存储器130可以包括挥发性存储器或非挥发性存储器中的至少一个。数据可以包括程序或与其相关的输入数据或输出数据。根据一实施例，存储器130可以存储多个多媒体文件或各个多媒体文件的元信息中的至少一个。处理器140通过运行存储器130的程序，可以控制电子装置100的至少一个构成要素，并且可以执行数据处理或运算。处理器140可以通过输入模块110来检测多媒体信号。此时，多媒体信号可以包括音频信号或视频信号中的至少一个。处理器140可以将多媒体信号分割成多个帧。此时，帧可以依据时间轴和频率轴来定义，并且可以相互重叠。各个帧可以具有根据时间和频率的各自的能量分布。处理器140可以生成各个帧的指纹。此时，指纹可以由散列字符(hashword)的排列来表示。处理器140可以将各个帧分割成多个块。在此，块排列于相同的帧内，由此，时间或频率中的至少一个可以不同。处理器140可以计算各个块的时间特性和频率特性。时间特性可以表示根据时间的能量分布，频率特性可以表示根据频率的能量分布。为此，处理器140可以对各个块计算根据时间轴上的两个方向和频率轴上的两个方向的组合(D)的微分值。处理器140可以根据关于各个块的时间特性和频率特性来检测各个块的散列字符。此时，处理器140可以基于各个块的能量微分值，检测各个块的散列字符。例如，处理器140将微分值与阈值进行比较，从而可以检测与微分值对应的散列字符。在此，阈值在前一帧中可以被决定为微分值，以便在当前帧中与微分值进行比较。根据多个实施例，电子装置100不仅基于检测的信号的频率特性，还基于时本文档来自技高网...

【技术保护点】
1.一种电子装置的操作方法，其中，/n包括：/n将检测的信号分割成多个帧的操作；/n将所述多个帧分别分割成多个块的操作；以及/n基于所述多个块的时间特性和频率特性将所述多个块表现为散列字符的操作。/n

【技术特征摘要】
20190613 KR 10-2019-00700971.一种电子装置的操作方法，其中，
包括：
将检测的信号分割成多个帧的操作；
将所述多个帧分别分割成多个块的操作；以及
基于所述多个块的时间特性和频率特性将所述多个块表现为散列字符的操作。


2.根据权利要求1所述的电子装置的操作方法，其中，
所述时间特性表示对于所述多个块的根据时间的能量分布，
所述频率特性表示对于所述多个块的根据频率的能量分布。


3.根据权利要求2所述的电子装置的操作方法，其中，
所述块依据相交的时间轴和频率轴来定义。


4.根据权利要求3所述的电子装置的操作方法，其中，
在所述散列字符表现操作中，
根据所述时间轴上的两个方向和所述频率轴上的两个方向的组合的微分值，检测所述多个块的散列字符的操作；以及
将所述多个块分别以所检测出的所述散列字符表现的操作。


5.根据权利要求4所述的电子装置的操作方法，其中，
所述散列字符检测操作包括：
计算所述时间轴的第一时间方向和所述频率轴的第一频率方向的第一微分值的操作；
计算所述时间轴的第二时间方向和所述频率轴的第二频率方向的第二微分值的操作；
将所述第一微分值和第二微分值相加来计算所述微分值的操作；以及
基于所述微分值来检测所述散列字符操作。


6.根据权利要求5所述的电子装置的操作方法，其中，
所述散列字符检测操作还包括：
计算所述第一时间方向和第二频率方向的第三微分值的操作；或者
计算所述第二时间方向和第一频率方向的第四微分值的操作中的至少一个。


7.根据权利要求6所述的电子装置的操作方法，其中，
在所述微分值计算操作中，
通过将所述第一微分值以及第二微分值与所述第三微分值或第四微分值中的至少一个相加来计算所述微分值。


8.根据权利要求5所述的电子装置的操作方法，其中，
在所述散列字符检测操作中，
通过将所述微分值与阈值进行比较来检测与所述微分值对应的所述散列字符。


9.根据权利要求8所述的电子装置的操作方法，其中，
所述阈值在所述帧中的前一帧中被决定为微分值，以便在所述帧中的当前帧中与微分值进行比较。


10.根据权利要求8所述的电子装置的操作方法，其中，
在所述散列字符检测操作中，
若所述微分值超过所述阈值，则将所述散列字符检测为1，
若所述微分值为所述阈值以下，则将所述散列...

【专利技术属性】
技术研发人员：田知受，金东焕，徐东佑，金大煌，朴锺银，
申请(专利权)人：纳宝株式会社，
类型：发明
国别省市：韩国;KR