一种利用移动设备进行电视节目互动的方法技术

本发明专利技术提供一种利用移动设备进行电视节目互动的方法，包括：移动设备的摄像机实时拍摄得到原始电视画面；接收模块判断接收到的所述原始电视画面是否为第1帧图像，如果是，则将所述原始电视画面以及绑定的本地时间tmobile发送给所述预校正模块，计算出对应帧视频源播放时间ttv；如果否，则将所述原始电视画面发送给所述实时交互模块；预校正模块包括：第1屏幕定位模块、频道ID识别模块和时间位移估算模块。本发明专利技术提供的利用移动设备进行电视节目互动的方法具有以下优点：是一种抗噪能力强、用户操作简单的移动设备与电视交互的方法，具有实用性强以及交互能力强等优点，可有效提高用户交互体验，从而满足观众与电视节目进行实时交互的需求。

A method of using mobile devices to interact on TV programs

The invention provides a method for interactive TV, using a mobile device includes: a camera mobile equipment to get the original television screen; receiving module receives the judgment of the original TV screen is first frames, if it is, then the original TV picture and the bound TMobile is sent to the local time the pre correction module, calculate the corresponding source frame of video playback time of TTV; if not, it will send the original footage to the real-time interactive module; pre correction module includes: first screen positioning module, ID channel identification module and time displacement estimation module. The invention provides a method for using mobile devices for interactive television program has the following advantages: the method is a strong anti noise ability and simple operation of the users of mobile devices and interactive TV, has the advantages of strong practicability and strong interactive ability, can effectively improve the user experience, so as to satisfy the audience and the TV program of real-time interactive the demand.

【技术实现步骤摘要】
一种利用移动设备进行电视节目互动的方法
本专利技术属于电视互动
，具体涉及一种利用移动设备进行电视节目互动的方法。
技术介绍
随着互联网技术的发展，越来越多的观众倾向于互联网观看电视节目，传统电视因缺少与观众的有效互动，造成收视率持续下降的现状。为了增强观众观看电视的趣味性，实现观众与电视节目信息的双向流动，近年来，广播电视领域互动技术得到了不断的发展，目前电视交互的模式主要有三种：(1)基于语音识别的交互方法及系统随着智能电视的发展，电视的操作菜单界面也越来越复杂，语音识别作为最方便直观的控制方式逐步应用到电视领域。语音识别是指：用户说出语音指令，即可将语音输入变成文字输入，进行相应的搜索。但具有以下不足：抗噪能力有限，识别成功率易受影响。(2)基于二维码交互的方法和系统在电视画面嵌入包含特定信息的二维码图像，因此，用户利用移动设备拍摄包含特定信息的二维码图像，通过移动设备APP软件进行解码后触发移动设备上网、名片识读、社交互动页等关联信息，为用户提供各类信息服务。但具有以下不足：破坏电视画面的整体性。(3)基于手势交互的方法及系统主要分为两种：一种是非接触式的；一种是可穿戴式的。基于手势交互的方法及系统，基于手势进行交互，手势的直观性和强大的语义使得人机交互变得尤为轻松。但具有以下不足：识别的性能有待提高，造价高，目前未得到很广泛的应用，用户的认知负荷(手势命令)和操作负荷(长时间操作比较疲惫)比较重。通过对以上技术的总结，不难得出，现有的各类技术存在实用性差、交互能力弱等问题，从而无法满足观众与电视节目进行实时交互的需求。
技术实现思路
针对现有技术存在的缺陷，本专利技术提供一种利用移动设备进行电视节目互动的方法，可有效解决上述问题。本专利技术采用的技术方案如下：本专利技术提供一种利用移动设备进行电视节目互动的方法，应用于由移动设备和服务器组成的系统中；包括以下步骤：步骤1，移动设备的摄像机实时拍摄得到原始电视画面，并将拍摄得到的原始电视画面以及绑定的移动设备录制视频的第1帧对应的本地时间tmobile实时以视频的方式上传到移动设备本地；所述移动设备本地包括接收模块、预校正模块、实时交互模块和综合分析模块；步骤2，所述接收模块判断接收到的所述原始电视画面是否为第1帧图像，如果是，则将所述原始电视画面以及绑定的本地时间tmobile发送给所述预校正模块；如果否，则将所述原始电视画面发送给所述实时交互模块；步骤3，所述预校正模块包括：第1屏幕定位模块、频道ID识别模块和时间位移估算模块；所述第1屏幕定位模块接收第1帧的原始电视画面，并对接收到的第1帧的原始电视画面进行识别分析处理，精确定位到无电视边框的电视画面；然后，将所述无电视边框的电视画面发送给所述频道ID识别模块；所述频道ID识别模块基于所述无电视边框的电视画面进行频道ID检测，识别到播放所述原始电视画面的电视频道ID以及视频帧在视频源的播放时间ttv；所述频道ID识别模块将所述视频帧在视频源的播放时间ttv发送给所述时间位移估算模块；所述时间位移估算模块用于在电视频道ID识别正确后，接收第1帧的原始电视画面所绑定的本地时间tmobile，再结合所述视频帧在视频源的播放时间ttv，估算得到时间延迟信息；其中，所述时间延迟信息指移动端和电视端播出节目的时间差；所述实时交互模块接收第2帧及其以后的原始电视画面，对接收到的所述原始电视画面进行分析，确定用户选择的交互模式以及触屏位置数据；步骤4，所述实时交互模块根据所述预校正模块获得的电视频道ID和时间延迟信息，以及获得的交互模式和触屏位置数据，获得需要向移动设备下发的对应的交互信息，并将所述需要向移动设备下发的对应的交互信息下发给所述移动设备，由此实现移动设备和电视节目互动。优选的，所述第1屏幕定位模块具体用于：步骤3.1，调整第1帧的原始电视画面的大小，进行归一化处理；步骤3.2，分别采用canny算子、Laplacian算法以及MSER算子进行轮廓检测，得到若干个轮廓，并将检测出来的轮廓合并；步骤3.3，轮廓粗筛选：分别计算检测到的每个轮廓的面积，判断计算得到的每个轮廓的面积是否大于阈值，如果是，则保留轮廓；否则，删除轮廓；假设保留的轮廓数量为N个；对保留的N个轮廓按轮廓面积由大到小进行排序，得到N个候选轮廓；步骤3.4，对N个候选轮廓中的每个候选轮廓进行凸包运算，由此得到N个凸多边型；步骤3.5，对于N个凸多边型中的每个凸多边型，判断多边形的边数是否小于四，如果是，则删除对应的凸多边型，如果否，则保留，由此筛选得到M个凸多边型；其中，M≤N；步骤3.6，在M个凸多边型中，对于每一个凸多边型，统计凸包顶点的个数，即：统计锚点的个数，并计算相邻锚点的线段长度，如果相邻锚点的线段长度大于阈值时，将相邻锚点的线段称为长线段，并保留此长线段；否则，舍弃相邻锚点的线段；然后，判断对应于一个凸多边型的长线段数目是否小于四，如果小于，则舍弃此凸多边型，否则保留此凸多边型，由此筛选得到M'个凸多边型，即：筛选得到M'个候选轮廓；其中，M'≤M；步骤3.7，在M'个候选轮廓中，判断每个候选轮廓中是否存在斜率大于阈值的线段，如果是，则删除对应的候选轮廓，否则保留对应的轮廓，由此筛选得到1个最终的电视边框轮廓图；步骤3.8，假设步骤3.7确定的电视边框轮廓图为由n个长线段组成的凸包轮廓，将n个长线段分别记为：L1、L2、…、Ln；求相邻长线段延长线的交点，共有n个交点，分别记为：P1、P2、…、Pn；P1、P2、…、Pn即为电视边框轮廓图的n个锚点；假设步骤3.1归一化处理后的图像的四个顶点分别为N1、N2、N3和N4；步骤3.9，计算每个交点Pi(i＝1，2，…，n)分别到图像四个顶点N1、N2、N3和N4的距离；得到距离N1最短的交点Pj1、距离N2最短的交点Pj2、距离N3最短的交点Pj3、距离N4最短的交点Pj4；其中，j1、j2、j3和j4∈(1，2，…，n)；步骤3.10，由Pj1、Pj2、Pj3和Pj4四个点组成仿射矩阵，进行仿射变换，得到的四个点分别为M1、M2、M3和M4；M1、M2、M3和M4顺次相连，得到粗定位后的电视画面；步骤3.11，在粗定位后的电视画面的内部四角位置，分别确定第1区域R1、第2区域R2、第3区域R3和第4区域R4；其中，第1区域R1为以M1点作为一个顶点的区域；第2区域R2为以M2点作为一个顶点的区域；第3区域R3为以M3点作为一个顶点的区域；第4区域R4为以M4点作为一个顶点的区域；步骤3.12，对每个区域Ri(i＝1,2,3,4)进行直接检测和角点检测，找出Fast角点和Hough的交点的重合点并聚类，从而获得每个区域Ri内唯一的一个角点PRi作为最终电视画面的一个顶点；由此得到最终电视画面的四个顶点，分别为PR1、PR2、PR3和PR4；PR1、PR2、PR3和PR4四个顶点组成仿射变换矩阵，进行仿射变换，得到最终无电视边框的电视画面的四个顶点分别为O1、O2、O3和O4；至此定位到最终无电视边框的电视画面。优选的，步骤3.3中，采用以下方法计算轮廓的面积：对于某一轮廓，遍历所有的轮廓点，找出水平方向最大点坐标right和水平方向最小点坐标left；找出竖直方向最大本文档来自技高网...

【技术保护点】
一种利用移动设备进行电视节目互动的方法，其特征在于，应用于由移动设备和服务器组成的系统中；包括以下步骤：步骤1，移动设备的摄像机实时拍摄得到原始电视画面，并将拍摄得到的原始电视画面以及绑定的移动设备录制视频的第1帧对应的本地时间tmobile实时以视频的方式上传到移动设备本地；所述移动设备本地包括接收模块、预校正模块、实时交互模块和综合分析模块；步骤2，所述接收模块判断接收到的所述原始电视画面是否为第1帧图像，如果是，则将所述原始电视画面以及绑定的本地时间tmobile发送给所述预校正模块；如果否，则将所述原始电视画面发送给所述实时交互模块；步骤3，所述预校正模块包括：第1屏幕定位模块、频道ID识别模块和时间位移估算模块；所述第1屏幕定位模块接收第1帧的原始电视画面，并对接收到的第1帧的原始电视画面进行识别分析处理，精确定位到无电视边框的电视画面；然后，将所述无电视边框的电视画面发送给所述频道ID识别模块；所述频道ID识别模块基于所述无电视边框的电视画面进行频道ID检测，识别到播放所述原始电视画面的电视频道ID以及视频帧在视频源的播放时间ttv；所述频道ID识别模块将所述视频帧在视频源的播放时间ttv发送给所述时间位移估算模块；所述时间位移估算模块用于在电视频道ID识别正确后，接收第1帧的原始电视画面所绑定的本地时间tmobile，再结合所述视频帧在视频源的播放时间ttv，估算得到时间延迟信息；其中，所述时间延迟信息指移动端和电视端播出节目的时间差；所述实时交互模块接收第2帧及其以后的原始电视画面，对接收到的所述原始电视画面进行分析，确定用户选择的交互模式以及触屏位置数据；步骤4，所述实时交互模块根据所述预校正模块获得的电视频道ID和时间延迟信息，以及获得的交互模式和触屏位置数据，获得需要向移动设备下发的对应的交互信息，并将所述需要向移动设备下发的对应的交互信息下发给所述移动设备，由此实现移动设备和电视节目互动。...

【技术特征摘要】
1.一种利用移动设备进行电视节目互动的方法，其特征在于，应用于由移动设备和服务器组成的系统中；包括以下步骤：步骤1，移动设备的摄像机实时拍摄得到原始电视画面，并将拍摄得到的原始电视画面以及绑定的移动设备录制视频的第1帧对应的本地时间tmobile实时以视频的方式上传到移动设备本地；所述移动设备本地包括接收模块、预校正模块、实时交互模块和综合分析模块；步骤2，所述接收模块判断接收到的所述原始电视画面是否为第1帧图像，如果是，则将所述原始电视画面以及绑定的本地时间tmobile发送给所述预校正模块；如果否，则将所述原始电视画面发送给所述实时交互模块；步骤3，所述预校正模块包括：第1屏幕定位模块、频道ID识别模块和时间位移估算模块；所述第1屏幕定位模块接收第1帧的原始电视画面，并对接收到的第1帧的原始电视画面进行识别分析处理，精确定位到无电视边框的电视画面；然后，将所述无电视边框的电视画面发送给所述频道ID识别模块；所述频道ID识别模块基于所述无电视边框的电视画面进行频道ID检测，识别到播放所述原始电视画面的电视频道ID以及视频帧在视频源的播放时间ttv；所述频道ID识别模块将所述视频帧在视频源的播放时间ttv发送给所述时间位移估算模块；所述时间位移估算模块用于在电视频道ID识别正确后，接收第1帧的原始电视画面所绑定的本地时间tmobile，再结合所述视频帧在视频源的播放时间ttv，估算得到时间延迟信息；其中，所述时间延迟信息指移动端和电视端播出节目的时间差；所述实时交互模块接收第2帧及其以后的原始电视画面，对接收到的所述原始电视画面进行分析，确定用户选择的交互模式以及触屏位置数据；步骤4，所述实时交互模块根据所述预校正模块获得的电视频道ID和时间延迟信息，以及获得的交互模式和触屏位置数据，获得需要向移动设备下发的对应的交互信息，并将所述需要向移动设备下发的对应的交互信息下发给所述移动设备，由此实现移动设备和电视节目互动。2.根据权利要求1所述的利用移动设备进行电视节目互动的方法，其特征在于，所述第1屏幕定位模块具体用于：步骤3.1，调整第1帧的原始电视画面的大小，进行归一化处理；步骤3.2，分别采用canny算子、Laplacian算法以及MSER算子进行轮廓检测，得到若干个轮廓，并将检测出来的轮廓合并；步骤3.3，轮廓粗筛选：分别计算检测到的每个轮廓的面积，判断计算得到的每个轮廓的面积是否大于阈值，如果是，则保留轮廓；否则，删除轮廓；假设保留的轮廓数量为N个；对保留的N个轮廓按轮廓面积由大到小进行排序，得到N个候选轮廓；步骤3.4，对N个候选轮廓中的每个候选轮廓进行凸包运算，由此得到N个凸多边型；步骤3.5，对于N个凸多边型中的每个凸多边型，判断多边形的边数是否小于四，如果是，则删除对应的凸多边型，如果否，则保留，由此筛选得到M个凸多边型；其中，M≤N；步骤3.6，在M个凸多边型中，对于每一个凸多边型，统计凸包顶点的个数，即：统计锚点的个数，并计算相邻锚点的线段长度，如果相邻锚点的线段长度大于阈值时，将相邻锚点的线段称为长线段，并保留此长线段；否则，舍弃相邻锚点的线段；然后，判断对应于一个凸多边型的长线段数目是否小于四，如果小于，则舍弃此凸多边型，否则保留此凸多边型，由此筛选得到M'个凸多边型，即：筛选得到M'个候选轮廓；其中，M'≤M；步骤3.7，在M'个候选轮廓中，判断每个候选轮廓中是否存在斜率大于阈值的线段，如果是，则删除对应的候选轮廓，否则保留对应的轮廓，由此筛选得到1个最终的电视边框轮廓图；步骤3.8，假设步骤3.7确定的电视边框轮廓图为由n个长线段组成的凸包轮廓，将n个长线段分别记为：L1、L2、…、Ln；求相邻长线段延长线的交点，共有n个交点，分别记为：P1、P2、…、Pn；P1、P2、…、Pn即为电视边框轮廓图的n个锚点；假设步骤3.1归一化处理后的图像的四个顶点分别为N1、N2、N3和N4；步骤3.9，计算每个交点Pi(i＝1，2，…，n)分别到图像四个顶点N1、N2、N3和N4的距离；得到距离N1最短的交点Pj1、距离N2最短的交点Pj2、距离N3最短的交点Pj3、距离N4最短的交点Pj4；其中，j1、j2、j3和j4∈(1，2，…，n)；步骤3.10，由Pj1、Pj2、Pj3和Pj4四个点组成仿射矩阵，进行仿射变换，得到的四个点分别为M1、M2、M3和M4；M1、M2、M3和M4顺次相连，得到粗定位后的电视画面；步骤3.11，在粗定位后的电视画面的内部四角位置，分别确定第1区域R1、第2区域R2、第3区域R3和第4区域R4；其中，第1区域R1为以M1点作为一个顶点的区域；第2区域R2为以M2点作为一个顶点的区域；第3区域R3为以M3点作为一个顶点的区域；第4区域R4为以M4点作为一个顶点的区域；步骤3.12，对每个区域Ri(i＝1,2,3,4)进行直接检测和角点检测，找出Fast角点和Hough的交点的重合点并聚类，从而获得每个区域Ri内唯一的一个角点PRi作为最终电视画面的一个顶点；由此得到最终电视画面的四个顶点，分别为PR1、PR2、PR3和PR4；PR1、PR2、PR3和PR4四个顶点组成仿射变换矩阵，进行仿射变换，得到最终无电视边框的电视画面的四个顶点分别为O...

【专利技术属性】
技术研发人员：孙剑，刘华，刘逸男，
申请(专利权)人：北京中视广信科技有限公司，
类型：发明
国别省市：北京,11