基于音频特征的广播电视节目标识与识别的方法及系统技术方案

本发明专利技术提供一种基于音频特征的广播电视节目标识与识别的方法及系统，方法包括：服务器端提取节目音频文件的特征数据，得到节目音频特征数据；将节目音频特征数据与节目标识和交互应用合并后，发送到移动终端；移动终端录制节目的录音音频信号；对录音音频信号进行音频特征提取，得到录音音频特征数据；判断节目音频特征库中是否存在与录音音频特征数据相匹配的节目音频特征数据，如果有，则输出匹配的节目标识、播放时间点与对应的交互应用；另外，还计算得到节目时间偏移，并输出计算得到的节目时间偏移。用户只需简单操作移动终端，即可享受与当前正在观看的广播电视节目对应的各项交互应用，而且有效保护了用户隐私，从而提升了用户体验。

【技术实现步骤摘要】
基于音频特征的广播电视节目标识与识别的方法及系统
本专利技术属于广播电视
，具体涉及一种基于音频特征的广播电视节目标识与识别的方法及系统。
技术介绍
随着广播电视技术和移动终端技术的发展，移动终端开始被大量用于广播电视交互应用，移动终端被视为广播电视的第二屏幕。观众在观看广播电视的同时，可以打开移动终端，通过移动终端查阅广播电视节目相关的片花或介绍信息，还可以利用移动终端实现观众评分、竞猜等交互应用。例如:当观众通过电视机正在观看电视频道A播出的广播电视节目B时，观众为参与广播电视节目B推送的交互应用服务C，则观众需要向移动终端手工输入电视频道A和广播电视节目B的名称，然后移动终端将电视频道A和广播电视节目B的名称信息发送到服务器端；服务器端再查询到广播电视节目B所推送的各项交互应用，然后将查询到的各项交互应用发送给移动终端，从而移动终端能够享受与广播电视节目B对应的各项交互应用。上述过程存在的主要问题为:(I)观众需要向移动终端手工输入电视频道和广播电视节目的名称，才能使移动终端享受与广播电视节目对应的交互应用，一方面，操作繁琐，从而为观众带来不便；另一方面，由于为手工输入，存在输入错误的问题，从而降低了用户体验；(2)移动终端需要将观众正在观看的电视频道和广播电视节目的名称上传到服务器端，存在侵犯用户隐私的问题。
技术实现思路
本专利技术提供一种基于音频特征的广播电视节目标识与识别的方法及系统，用户只需简单操作移动终端，即可享受与当前正在观看的广播电视节目对应的各项交互应用，而且有效保护了用户隐私，从而提升了用户体验。本专利技术采用的技术方案如下:本专利技术提供一种基于音频特征的广播电视节目标识与识别的方法，包括以下步骤:SI，服务器端按照设定规则读取P个节目音频文件{Wi，W2...WP}，对节目音频文件Wi执行S1.1-S1.3，得到P个节目音频特征数据包{ZpZy.-Zp};具体包括以下步骤:S1.1，设置并读取用于唯一标识节目音频文件Wi的节目标识IDi ；读取节目音频文件Wi在q个播放时间点IT1, T2...Tj分别关联的q个交互应用(Y1, Y2...YtJ，其中，所述播放时间点Ti为其所关联的交互应用Yi的启动时间点；S1.2，对所述节目音频文件Wi进行音频特征提取，得到节目音频特征数据Fi ；S1.3，将q个交互应用(Y1, Y2...Y』与q个对应的播放时间点H1, T2...Tj、节目标识IDi和节目音频特征数据Fi合并，得到节目音频特征数据包Zi ；S2，服务器端将P个节目音频特征数据包(Z1, Z2...ZP}发送到移动终端本地建立的节目音频特征库中；S3，对于电视机正在播放的指定节目，当所述移动终端需要查询与所述指定节目相关的交互应用时，所述移动终端录制指定节目在当前播放时刻的录音音频信号；S4，所述移动终端对所述录音音频信号进行音频特征提取，得到录音音频特征数据；S5，以所述录音音频特征数据为查询关键数据，查询所述节目音频特征库，判断所述节目音频特征库中是否存在与所述录音音频特征数据相匹配的节目音频特征数据，如果有，则得到所述节目音频特征数据所在的节目音频特征数据包，输出所述节目音频特征数据包存储的节目标识、播放时间点与对应的交互应用；另外，还计算得到节目时间偏移，并输出计算得到的节目时间偏移。优选的，SI中，所述设定规则包括以下规则的一种或几种的组合:规则1，服务器端只读取绑定交互应用的节目所包含的节目音频文件；规则2，设节目通过电视机播放的播放时间为TA，则服务器在播放时间TA之前的时间TB才读取所述节目；其中，时间TB到时间TA的时间间隔小于预设值；或者，S1.1中，所述交互应用包括交互应用标识信息、交互应用类型信息、交互应用优先级信息、交互应用被启动控制的信息、交互应用的版本信息和对交互应用进行的描述信息。优选的，S2具体包括S2.1或S2.2两种方法:S2.1，服务器端主动向各个移动终端本地的节目音频特征库中推送新的节目音频特征数据包；S2.2，移动终端定期向服务器端发送节目音频特征数据包的更新查询请求；如果查询到有新的节目音频特征数据包，则将其下载到本地节目音频特征库中。优选的，S2之后，还包括:移动终端按预设规则自动更新本地的节目音频特征库；或者，服务器端按预设规则自动更新各个移动终端本地的节目音频特征库；其中，所述预设规则为:自动删除所述节目音频特征库中所存储的过期的节目音频特征数据包。优选的，SI中，对于节目音频文件Wi,还包括执行以下步骤:将节目音频文件Wi分割为时长为TW的a个节目音频段{Wn，Wi2...WiJ，相邻两个节目音频段之间有重叠，重叠时长为TS ;以节目播放起始时间为原点，计算各个节目音频段的起始时间tp,得到{tpn, tpi2...tpia},其中，起始时间tpi2为节目音频段Wil距节目播放起始时间的时间间隔，j e (1,2...a);对各个节目音频段进行节目音频特征提取，得到a个节目音频特征子数据{Cn，Ci2...CiJ ;将{tpn，tpi2...tpia}和ICil, Ci2...CiJ记为节目音频特征数据Fi ；将q个交互应用(Y1, Y2...Y」、q个对应的播放时间点H1, T2...Tq}、节目标识IDi以及节目音频特征数据Fi合并存储到节目音频特征数据包Zi ；S4具体包括以下步骤:将录音音频文件分割为时长为TW的b个录音音频段(B1, B2...BJ，相邻两个录音音频段之间有重叠，重叠时长为TS ;以录音起始时间为原点，计算各个录音音频段的起始时间tr,得到Itrptr2...trj ,其中,起始时间^rj为录音音频段Bj距录音起始时间的时间间隔，其中，j G (l、2...b);对各个录音音频段进行录音音频特征提取，得到b个录间音频特征子数据(E1, E2...EbI ；S5具体包括以下步骤:将b个录音音频段(BpB2...BJ分别与P个节目音频文件(W^W2...ffP}进行匹配，对每一个节目音频文件，均建立一个统计直方图，共建立P个统计直方图；当任意一个统计直方图的纵变量number值达到L时，则终止下列S5.2-S5.3的循环操作；其中，对任一个节目音频文件Wi,所建立的统计直方图为HIST-1Di(C^number)；HIST-1Di (dt> number)的建立过程包括以下步骤:S5.1，令 number = 0 ；S5.2，$j = l;S5.3，将录音音频段B」的录间音频特征子数据分别与各个节目音频段{Wn，wi2...WiJ所分别对应的节目音频特征子数据{Cn，Ci2...CiJ进行匹配，判断录间音频特征子数据与各个节目音频特征子数据之间的汉明距离是否大于阈值TH，如果大于，则二者不匹配；否则，二者匹配；若与录音音频段h匹配成功的节目音频特征子数据为Cu，则与录音音频段h匹配成功的节目音频段为Wu，节目音频段为胃^的起始时间为tpu ;录音音频段B」的录音起始时间为tr」；则:在dt = tPij-trj的横坐标位置,令number = number+1 ；i =i+1 ;返回循环执行S5.2和S5.3，直到P个统计直方图中，存在一个统计直方图的纵变量的numbe本文档来自技高网...

【技术保护点】
一种基于音频特征的广播电视节目标识与识别的方法，其特征在于，包括以下步骤：S1，服务器端按照设定规则读取P个节目音频文件{W1，W2...WP}，对节目音频文件Wi执行S1.1?S1.3，得到P个节目音频特征数据包{Z1，Z2...ZP}；具体包括以下步骤：S1.1，设置并读取用于唯一标识节目音频文件Wi的节目标识IDi；读取节目音频文件Wi在q个播放时间点{T1，T2...Tq}分别关联的q个交互应用{Y1，Y2...Yq}，其中，所述播放时间点Ti为其所关联的交互应用Yi的启动时间点；S1.2，对所述节目音频文件Wi进行音频特征提取，得到节目音频特征数据Fi；S1.3，将q个交互应用{Y1，Y2...Yq}与q个对应的播放时间点{T1，T2...Tq}、节目标识IDi和节目音频特征数据Fi合并，得到节目音频特征数据包Zi；S2，服务器端将P个节目音频特征数据包{Z1，Z2...ZP}发送到移动终端本地建立的节目音频特征库中；S3，对于电视机正在播放的指定节目，当所述移动终端需要查询与所述指定节目相关的交互应用时，所述移动终端录制指定节目在当前播放时刻的录音音频信号；S4，所述移动终端对所述录音音频信号进行音频特征提取，得到录音音频特征数据；S5，以所述录音音频特征数据为查询关键数据，查询所述节目音频特征库，判断所述节目音频特征库中是否存在与所述录音音频特征数据相匹配的节目音频特征数据，如果有，则得到所述节目音频特征数据所在的节目音频特征数据包，输出所述节目音频特征数据包存储的节目标识、播放时间点与对应的交互应用；另外，还计算得到节目时间偏移，并输出计算得到的节目时间偏移。...

【技术特征摘要】
1.一种基于音频特征的广播电视节目标识与识别的方法，其特征在于，包括以下步骤: Si,服务器端按照设定规则读取P个节目音频文件(W1，W2...Wpl，对节目音频文件Wi执行S1.1-S1.3，得到P个节目音频特征数据包{Ζ1;Ζ2...ΖΡ};具体包括以下步骤: S1.1，设置并读取用于唯一标识节目音频文件Wi的节目标识IDi ； 读取节目音频文件Wi在q个播放时间点IT1, T2...TJ分别关联的q个交互应用{Y1;Y2...YtJ，其中，所述播放时间点Ti为其所关联的交互应用Yi的启动时间点； S1.2，对所述节目音频文件Wi进行音频特征提取，得到节目音频特征数据Fi ； 51.3，将q个交互应用{Y1; Y2...Yq}与q个对应的播放时间点IT1, T2...Tj、节目标识IDi和节目音频特征数据Fi合并，得到节目音频特征数据包Zi ； S2，服务器端将P个节目音频特征数据包{Z1; Z2...ZP}发送到移动终端本地建立的节目首频特征库中； S3，对于电视机正在播放的指定节目，当所述移动终端需要查询与所述指定节目相关的交互应用时，所述移动终端录制指定节目在当前播放时刻的录音音频信号； S4，所述移动终端对所述录音音频信号进行音频特征提取，得到录音音频特征数据；S5，以所述录音音频特征数据为查询关键数据，查询所述节目音频特征库，判断所述节目音频特征库中是否存在与所述录音音频特征数据相匹配的节目音频特征数据，如果有，则得到所述节目音频特征数据所在的节目音频特征数据包，输出所述节目音频特征数据包存储的节目标识、播放时间点与对应的交互应用；另外，还计算得到节目时间偏移，并输出计算得到的节目时间偏移。2.根据权利要求1所述的基于音频特征的广播电视节目标识与识别的方法，其特征在于，SI中，所述设定规则包括以下规则的一种或几种的组合: 规则1，服务器端只读取绑定交互应用的节目所包含的节目音频文件； 规则2，设节目通过电视机播放的播放时间为TA，则服务器在播放时间TA之前的时间TB才读取所述节目；其中，时间TB到时间TA的时间间隔小于预设值； 或者，S1.1中，所述交互应用包括交互应用标识信息、交互应用类型信息、交互应用优先级信息、交互应用被启动控制的信息、交互应用的版本信息和对交互应用进行的描述信肩、O3.根据权利要求1所述的基于音频特征的广播电视节目标识与识别的方法，其特征在于，S2具体包括S2.1或S2.2两种方法: 52.1，服务器端主动向各个移动终端本地的节目音频特征库中推送新的节目音频特征数据包； S2.2，移动终端定期向服务器端发送节目音频特征数据包的更新查询请求；如果查询到有新的节目音频特征数据包，则将其下载到本地节目音频特征库中。4.根据权利要求1所述的基于音频特征的广播电视节目标识与识别的方法，其特征在于，S2之后,还包括: 移动终端按预设规则自动更新本地的节目音频特征库；或者，服务器端按预设规则自动更新各个移动终端本地的节目音频特征库；其中，所述预设规则为:自动删除所述节目音频特征库中所存储的过期的节目音频特征数据包。5.根据权利要求1所述的基于音频特征的广播电视节目标识与识别的方法，其特征在于，SI中，对于节目音频文件Wi,还包括执行以下步骤: 将节目音频文件Wi分割为时长为TW的a个节目音频段{Wn，Wi2...WiJ，相邻两个节目音频段之间有重叠，重叠时长为TS;以节目播放起始时间为原点，计算各个节目音频段的起始时间tp,得到{tpn, tpi2...tpia},其中，起始时间tpi2为节目音频段Wil距节目播放起始时间的时间间隔，je (1,2...a);对各个节目音频段进行节目音频特征提取，得到a个节目音频特征子数据Icil, Ci2...CiJ ;将{tpn, tpi2...tpia}和ICil, Ci2...CiJ记为节目音频特征数据Fi ； 将q个交互应用(Y1, Y2-..YJ > Q个对应的播放时间点IT1, !V..!；}、节目标识IDi以及节目音频特征数据Fi合并存储到节目音频特征数据包Zi ； S4具体包括以下步骤: 将录音音频文件分割为时长为TW的b个录音音频段{B1; B2...BJ，相邻两个录音音频段之间有重置，重置时长为TS ;以录首起始时间为原点，计算各个录首首频段的起始时间tr,得到Itrptr2...trb},其中,起始时间tr」为录音音频段Bj距录音起始时间的时间间隔，其中，je (1,2...b);对各个录音音频段进行录音音频特征提取，得到b个录间音频特征子数据{E^EyEj ； S5具体包括以下步骤: 将b个录音音频段{B1; B2...BJ分别与P个节目音频文件{W1; W2...ffp}进行匹配，对每一个节目音频文件，均建立一个统计直方图，共建立P个统计直方图；当任意一个统计直方图的纵变量number值达到L时，则终止下列S5.2-S5.3的循环操作； 其中，对任一个节目音频文件Wi，所建立的统计直方图为HIST-1Di (dt、number)；HIST-1Di (dt> number)的建立过程包括以下步骤:S5.1,令 number = O ；S5.2，令 j = 1 ; S5.3，将录音音频段B」的录间音频特征子数据分别与各个节目音频段{Wn，Wi2...WiJ所分别对应的节目音频特征子数据{Cn，Ci2...CiJ进行匹配，判断录间音频特征子数据与各个节目音频特征子数据之间的汉明距离是否大于阈值TH，如果大于，则二者不匹配；否贝U，二者匹配；若与录音音频段B」匹配成功的节目音频特征子数据为Cu，则与录音音频段Bj匹配成功的节目音频段为Wu，节目音频段为Wu的起始时间为tpu ;录音音频段B」的录音起始时间为tr」；则:在dt = tPij-trj的横坐标位置,令number = number+1 ；i = i+1 ;返回循环执行S5.2和S5.3，直到P个统计直方图中，存在一个统计直方图的纵变量的number值达到L时，终止循环过程； S5.4，令纵变量number值最先达到L的统计直方图所对应的节目标识为IDmd，最先达到L的纵坐量所对应的横变量dt值为dtend ;最先达到L的最后匹配成功的节目音频段的起始时间为tpend，最先达到L的最后匹配成功的录音音频段的录音起始时间为trend ;则--节目标识为IDmd的节目即为与录音音频信号匹配的节目；并且，该节目当前播出时间偏移即为tPend — trend+dtend。6.一种基于音频特征的广播电视节目标识与识别的系统，其特征在于，包括服务器端和移动终端；所述服务器端包括: 读取模块，用于按照设定规则读取P个节目音频文件{WpWr.Wp};还用于读取节目音频文件Wi在q个播放时间点IT1J2...TJ分别关联的q个交互应用{Y1;Y2...Yq}，其中，所述播放时间点Ti为其所关联的交...

【专利技术属性】
技术研发人员：唐小军，孙剑，张昊，
申请(专利权)人：北京中视广信科技有限公司，
类型：发明
国别省市：