一种基于图像识别的电视节目识别方法和系统技术方案

本发明专利技术公开了一种基于图像识别的电视节目识别方法和系统，所述方法包括：S1，视频采集卡采集各电视频道的直播视频图像，提取各电视频道的视频图像特征值，并发送到图像处理服务器；S2，图像处理服务器实时建立并更新各电视频道的视频图像特征索引表；S3，移动终端拍摄当前电视频道的屏幕画面，提取屏幕画面的视频图像特征值，并发送图像识别请求和视频图像特征值到图像处理服务器；S4，图像处理服务器将当前电视频道的视频图像特征值与实时的视频图像特征索引表中的视频图像特征值进行比对，确定当前电视频道的频道ID；S5，移动终端根据频道ID确定当前直播视频所属节目。本发明专利技术能提高图像识别的准确率和效率，抗干扰能力强。

【技术实现步骤摘要】
一种基于图像识别的电视节目识别方法和系统
本专利技术涉及一种基于图像识别的电视节目识别方法和系统，属于图像内容识别和电视互动社交领域。
技术介绍
随着三网融合的推进，IPTV日益普及，尤其是OTT平台及智能电视的快速发展，观众收视习惯日益多样化。为积极有效应对全媒体多屏融合的市场竞争，广电行业相关企事业单位正积极有效利用外部资源，充分发挥各自优势，开拓思路，努力创新，提供更多增值业务及新媒体应用，提升现有用户的ARPU值及用户黏度，并在新业务与新运营模式上进行积极探索与尝试。电视互动社交应用系统，作为以广电有线网络为基础的一款服务于电视终端用户的互联网应用业务，一方面满足了广电网络运营商发展基础收视业务的需求，一方面满足了用户及时方便获取海量电视信息资源的需求。此应用业务可以通过手机、PAD等终端为用户提供节目导视、社交、商务、娱乐等综合信息推送与互动服务，实现跨屏导视、点播控制、互动共享及电视购物等手机与电视交互的业务模式，打造适合不同用户需求的手机互动电视资讯业务，吸引更多年轻用户回归到电视。目前，在用户参与电视节目互动方面，除了传统的热线电话、短信参与等方式，还出现了基于声音感知的参与方式，但是基于直播视频识别的非现场互动参与方式，目前还相对缺乏。因而，如果能让用户通过移动终端摄像设备，拍摄并发送实时直播视频图像，在服务后台进行图像识别，判断用户正在参与该节目，并且推送互动参与内容，将极大改善用户的互动参与体验。而现有的电视节目图像识别技术，一般都是提取电视画面中的电视台台标和频道名称来进行识别，确定用户正在参与的电视节目，但这种方法在实际应用过程中很难有好的效果。根据实验，通常用户与电视的距离为2-3米或更远，在这样的距离条件下手机拍摄的电视画面中的电视台台标和频道名称会非常小，拍摄光线差、拍摄视角造成的偏差也会导致拍摄画面不清晰，这几种情况下采集的图像并不适合将其与服务器后台中的频道数据进行比对分析，会导致识别的结果不准确，常常需要反复拍摄多次进行识别。
技术实现思路
本专利技术的目的在于，提供一种基于图像识别的电视节目识别方法和系统，能够提高图像识别的准确率和效率，并且抗干扰能力强。为解决上述技术问题，本专利技术采用如下的技术方案：一种基于图像识别的电视节目识别方法，包括以下步骤：S1，视频采集卡采集各电视频道的直播视频图像，提取各电视频道的视频图像特征值，并将视频图像特征值发送到图像处理服务器；S2，图像处理服务器实时建立并更新各电视频道的视频图像特征索引表，所述视频图像特征索引表主要包含视频图像特征值与频道ID的对应关系，即采集的某张图像特征值属于哪个频道的；S3，移动终端拍摄当前电视频道的屏幕画面，提取屏幕画面的视频图像特征值，并发送图像识别请求和视频图像特征值到图像处理服务器；S4，图像处理服务器将当前电视频道的视频图像特征值与实时的视频图像特征索引表中的视频图像特征值进行比对，确定当前电视频道的频道ID；S5，移动终端根据当前电视频道的频道ID确定当前直播视频所属节目。前述的基于图像识别的电视节目识别方法中，步骤S1和步骤S3中所述提取视频图像特征值具体包括：S11，利用深度图网格顶点的曲率值计算刚性变换不变性度量，并作为二维图像上的灰度值，创建二维灰度图像；S12，利用SIFT算法对二维灰度图像进行特征点检测与匹配，通过映射关系建立多视图上的特征点及匹配关系。前述的基于图像识别的电视节目识别方法中，步骤S3具体包括：S31，判断移动终端是否有方向传感器，若有，则转至步骤S32；若没有，则转至步骤S33；S32，判断移动终端是否有被举起动作，若有，则转至步骤S33；若没有，则重复步骤S32，直到检测到移动终端被举起动作为止；S33，摄像头开始对焦，待对焦完成，获取当前电视频道的视频图像，并提取视频图像特征值；S34，发送图像识别请求和视频图像特征值数据到图像处理服务器。前述的基于图像识别的电视节目识别方法中，图像处理服务器有一个图像识别线程池，线程池中有多个功能相同的线程，称为图像识别线程；每个图像识别线程在一段时间内(比如200ms，该时间取决于图像处理服务器CPU的处理能力，CPU能力越强需要的时间越短)处理一个图像识别请求。当图像处理服务器接收到多个用户并发的图像识别请求时，先进行调度控制，再进行图像识别，所述调度控制具体为：图像处理服务器内的调度控制算法将多个用户并发图像识别请求按请求时间顺序放入一个请求队列中；监测请求队列和图像识别线程池，若发现请求队列中有未处理的图像识别请求并且图像识别线程池中有状态为空闲的图像识别线程时，则将请求时间最早的图像识别请求分配给状态为空闲的图像识别线程，从请求队列中移除此请求，将此图像识别线程的状态改为忙；一旦图像识别线程处理完请求后将立即回到图像识别线程池，并把状态改为“空闲”，等待调度控制算法分配新的图像识别请求。前述的基于图像识别的电视节目识别方法中，步骤S4具体包括：S41，根据视频图像特征索引表进行图像粗配，在索引表中选出最有可能配准的8～12条候选视频图像特征值；S42，根据选出的候选视频图像特征值进行图像精配，选出完全匹配的视频图像特征值；S43，根据选出的完全匹配的视频图像特征值在视频图像特征索引表中查找对应的频道ID，返回该频道ID到移动终端。优选的，所述步骤S41中，根据视频图像特征索引表进行图像粗配，在索引表中选出最有可能配准的10条候选视频图像特征值。前述的基于图像识别的电视节目识别方法中，步骤S5具体为：移动终端根据图像处理服务器返回的频道ID，确定当前发送的视频图像所属的频道，自动调用电视节目互动服务器的电子节目菜单确定当前直播视频所属节目。一种实现前述方法的基于图像识别的电视节目识别系统，包括：图像采集服务器，用于通过视频采集卡采集各电视频道的直播视频图像，提取各电视频道的视频图像特征值，并将视频图像特征值发送到图像处理服务器；图像特征索引表模块，用于图像处理服务器实时建立并更新各电视频道的视频图像特征索引表；电视图像采集模块，用于移动终端拍摄当前电视频道的屏幕画面，提取屏幕画面的视频图像特征值，并发送图像识别请求和视频图像特征值到图像处理服务器；图像识别模块，用于图像处理服务器将当前电视频道的视频图像特征值与实时的视频图像特征索引表中的视频图像特征值进行比对，确定当前电视频道的频道ID；节目确定模块，用于移动终端根据当前电视频道的频道ID确定当前直播视频所属节目。前述的基于图像识别的电视节目识别系统中，图像采集服务器包括：视频卡采集模块，用于通过视频采集卡对各电视频道的直播节目视频流进行图像数据采集；图像预处理模块，用于利用深度图网格顶点的曲率值计算刚性变换不变性度量，并作为二维图像上的灰度值，创建二维灰度图像，再利用SIFT算法对二维灰度图像进行特征点检测与匹配，通过映射关系建立多视图上的特征点及匹配关系。前述的基于图像识别的电视节目识别系统中，电视图像采集模块包括：方向传感器判断模块，用于判断移动终端是否有方向传感器，若有，则转至举起动作判断模块；若没有，则转至图像特征值提取模块；举起动作判断模块，用于判断移动终端是否有被举起动作，若有，则转至图像特征值提取模块；若没有，则一直判断是否有被举起动作，直到本文档来自技高网...

【技术保护点】
一种基于图像识别的电视节目识别方法，其特征在于，包括以下步骤：S1，视频采集卡采集各电视频道的直播视频图像，提取各电视频道的视频图像特征值，并将视频图像特征值发送到图像处理服务器；S2，图像处理服务器实时建立并更新各电视频道的视频图像特征索引表；S3，移动终端拍摄当前电视频道的屏幕画面，提取屏幕画面的视频图像特征值，并发送图像识别请求和视频图像特征值到图像处理服务器；S4，图像处理服务器将当前电视频道的视频图像特征值与实时的视频图像特征索引表中的视频图像特征值进行比对，确定当前电视频道的频道ID；S5，移动终端根据当前电视频道的频道ID确定当前直播视频所属节目。

【技术特征摘要】
1.一种基于图像识别的电视节目识别方法，其特征在于，包括以下步骤：S1，视频采集卡采集各电视频道的直播视频图像，提取各电视频道的视频图像特征值，并将视频图像特征值发送到图像处理服务器；S2，图像处理服务器实时建立并更新各电视频道的视频图像特征索引表；S3，移动终端拍摄当前电视频道的屏幕画面，提取屏幕画面的视频图像特征值，并发送图像识别请求和视频图像特征值到图像处理服务器；S4，图像处理服务器将当前电视频道的视频图像特征值与实时的视频图像特征索引表中的视频图像特征值进行比对，确定当前电视频道的频道ID；S5，移动终端根据当前电视频道的频道ID确定当前直播视频所属节目；其中，步骤S4具体包括：S41，根据视频图像特征索引表进行图像粗配，在索引表中选出8～12条候选视频图像特征值；S42，根据选出的候选视频图像特征值进行图像精配，选出完全匹配的视频图像特征值；S43，根据选出的完全匹配的视频图像特征值在视频图像特征索引表中查找对应的频道ID，返回该频道ID到移动终端；所述步骤S41中包括，通过将局部视觉特征集合转化为视觉词汇，建立树形结构的分层聚类模型，利用所述分层聚类模型进行图像粗配。2.根据权利要求1所述的基于图像识别的电视节目识别方法，其特征在于，步骤S1和步骤S3中所述提取视频图像特征值具体包括：S11，利用深度图网格顶点的曲率值计算刚性变换不变性度量，并作为二维图像上的灰度值，创建二维灰度图像；S12，利用SIFT算法对二维灰度图像进行特征点检测与匹配，通过映射关系建立多视图上的特征点及匹配关系。3.根据权利要求1或2所述的基于图像识别的电视节目识别方法，其特征在于，步骤S3具体包括：S31，判断移动终端是否有方向传感器，若有，则转至步骤S32；若没有，则转至步骤S33；S32，判断移动终端是否有被举起动作，若有，则转至步骤S33；若没有，则重复步骤S32，直到检测到移动终端被举起动作为止；S33，摄像头开始对焦，待对焦完成，获取当前电视频道的视频图像，并提取视频图像特征值；S34，发送图像识别请求和视频图像特征值数据到图像处理服务器。4.根据权利要求3所述的基于图像识别的电视节目识别方法，其特征在于：当图像处理服务器接收到多个用户并发的图像识别请求时，先进行调度控制，再进行图像识别，所述调度控制具体为：将多个用户并发图像识别请求按请求时间顺序放入一个请求队列中；监测请求队列和图像识别线程池，若发现请求队列中有未处理的图像识别请求并且图像识别线程池中有状态为空闲的图像识别线程时，则将请求时间最早的图像识别请求分配给状态为空闲的图像识别线程，从请求队列中移除此请求，将此图像识别线程的状态改为忙。5.一种实现权利要求1～4任意一项所述方法的基于图像识别的电视节目识别系统，其特征在于，包括：图像采集服务器，用于通过视频采集卡采集各电视频道的直播视频图像，提取各电视频道的视频图像特征值，并将视...

【专利技术属性】
技术研发人员：孔炯，马小骏，
申请(专利权)人：南京阅视网络科技有限公司，
类型：发明
国别省市：江苏;32