一种基于智能电视画面的对象识别方法和系统技术方案

本发明专利技术公开了一种基于智能电视画面的对象识别方法，包括：检测单元实时检测；将检测得到的对象的局部图像数据与对象所属图像帧的信息保存至存储单元；识别单元收到识别请求时，进行对象识别归并对象信息并反馈对象识别结果。还公开了包含检测单元、存储单元和识别单元的系统。本发明专利技术通过对即将显示的图像帧，按照预设对象类型进行实时对象检测并将检测到的每帧图像中的每个对象的局部图像数据，与对象所属帧信息一起进行分类、依序存储；存储单元中保存的最近一段时间内的对象信息，使识别单元具有更充裕的数据输入进行识别比对，从而有效克服未精确匹配的单帧识别方法的识别成功率低的问题。

【技术实现步骤摘要】
一种基于智能电视画面的对象识别方法和系统
本专利技术涉及图像识别
，具体的说，是一种基于智能电视画面的对象识别方法及系统。
技术介绍
随着人工智能产业的发展，语音识别、图像识别等算法的准确率不断提升，在智能电视领域的应用越来越广泛。基于语音识别的交互技术让智能电视使用更加方便；基于图像识别的智能推荐、人物介绍等功能让智能电视更加智能。语音交互与图像识别功能的结合，为智能电视用户带来了前所未有的智能体验。对着智能电视说一句“这个人是谁”，智能电视即可以图像、文本及语音信息对识别结果进行反馈，诸如此类功能，在支持语音交互的智能电视产品中已经比较常见。但是智能电视用户在使用这类功能时，用户真正想要识别的电视画面与实际被用于识别的图像帧之间无法精确匹配，导致识别成功率不高；而且当前产品中，普遍采用截取单帧图像进行识别，识别对象角度、形状或背景发生细微变化都可能导致识别失败从而降低识别成功率。
技术实现思路
本专利技术的目的在于提供一种基于智能电视画面的对象识别方法及系统，用于解决现有技术中采用截取单帧图像进行识别，容易导致识别失败从而降低识别成功率的问题。本专利技术通过下述技术方案解决上述问题：一种基于智能电视画面的对象识别方法，包括：步骤S100：检测单元对要显示的图像帧，按照预设对象类型进行实时检测；步骤S200：当检测到图像帧中存在对象时，将对象的局部图像数据与对象所属图像帧的信息进行分类保存至存储单元；步骤S300：识别单元收到包含对象类型的识别请求时，依据识别请求中的对象类型取出对象的相关局部图像数据进行对象识别，归并对象信息并反馈对象识别结果。进一步地，所述步骤S200具体包括：步骤S210：当检测单元检测到对象时，标记出对象轮廓区域或囊括对象完整信息的矩形区域；步骤S220：存储单元根据预设对象类型，分别建立先进先出的总容量为M的队列，将标记区域中的局部图像数据与当前图像帧的信息存储于队列中。进一步地，所述步骤S300具体包括：步骤S310：用户触发识别请求后，将识别请求的类型传递给识别单元；步骤S320：依据识别请求的类型，从存储单元对应的队列中取出第一帧所包含的所有对象相关的局部图像数据进行对象识别；其中第一帧指的是最靠近队列入口位置的队列元素所在的帧；若第一帧所包含的所有对象全部成功识别，则结束本次识别，跳转至步骤S330；否则继续读取相邻后续帧所包含的对象数据进行识别，直到对象全部识别成功或者队列中无数据则停止识别；步骤S330：归并成功识别的对象信息并反馈对象识别结果。一种基于智能电视画面的对象识别系统，包括：检测单元，用于对要显示的图像帧，按照预设对象类型，进行实时对象检测，并将检测到的每帧图像中的每个对象的相关局部图像数据，与对象所属帧信息一起进行分类、依序存储；预置支持预设对象类型且已训练好的神经网络模型，能够按照预设对象类型对图像帧进行对象检测与标记；存储单元，用于分类、依序存储检测单元传递的对象相关局部图像数据及其所属帧信息；识别单元，用于收到包含对象类型的识别请求时，依据请求识别的对象类型取出一帧或多帧所包含的对象相关局部图像数据进行对象识别，并反馈识别结果。进一步地，所述存储单元的数据结构包括：队列，该数据结构由存储单元依据预设对象类型进行创建，有几个对象类型，就创建几个队列，所述队列为先进先出队列，队列总容量为M，其中M为大于1的整数；所述队列的队列入口处为队列元素1，所述队列元素1为入队操作后每个新队列元素存放的逻辑位置，队列元素1的数据结构由帧信息与对象相关的局部图像数据构成；所述队列的队列出口处为队列元素M，当队列元素满时，再有新队列元素存入队列，则队列元素M就被删除；队列入口，表明新队列元素存入队列的队列元素端；队列出口，表明队列满又有新队列元素存入时，将被删除的队列元素端。存储单元中保存的最近一段时间内的对象信息，使识别单元具有更充裕的数据输入进行识别比对，从而有效克服未精确匹配的单帧识别方法的识别成功率低的问题。本专利技术与现有技术相比，具有以下优点及有益效果：本专利技术通过对即将显示的图像帧，按照预设对象类型进行实时对象检测并将检测到的每帧图像中的每个对象的局部图像数据，与对象所属帧信息一起进行分类、依序存储；存储单元中保存的最近一段时间内的对象信息，使识别单元具有更充裕的数据输入进行识别比对，从而有效克服未精确匹配的单帧识别方法的识别成功率低的问题。附图说明图1为本专利技术的方法流程图；图2为存储单元内部数据结构示意图；图3为识别单元的识别流程图。具体实施方式下面结合实施例对本专利技术作进一步地详细说明，但本专利技术的实施方式不限于此。实施例1：结合附图1所示，一种基于智能电视画面的对象识别方法，包括：一种基于智能电视画面的对象识别方法，包括：实时对象检测，检测单元对要显示的图像帧，按照预设对象类型进行实时检测；对象信息存储，当检测到图像帧中存在对象时，将对象的局部图像数据与对象所属图像帧的信息进行分类保存至存储单元；识别单元收到包含对象类型的识别请求时，依据识别请求中的对象类型取出对象的相关局部图像数据进行对象识别，归并对象信息并反馈对象识别结果。实施例2：在实施例1的基础上，所述实时对象检测，该步骤由检测单元完成：对即将显示的图像帧，按照预设对象类型，进行实时对象检测，其中：检测单元依据要支持的预设对象类型进行网络选型、参数设定等配置；配置后检测单元只检测预设对象类型范围内的对象；即将显示的图像帧，可以从图形缓冲区、视频缓冲区或显示缓冲区中的任意缓冲区进行抽取，可结合使用场景灵活决定；对图像帧的实时抽取，可以逐帧或间隔N帧进行抽取，可以依据支持检测单元的硬件处理器算力灵活决定；其中N为大于等于1的整数；对图像帧的抽取精度，可以完整拷贝或下采样拷贝，可以依据支持检测单元的硬件处理器算力灵活决定；当检测单元检测到一个对象时，标记出对象轮廓区域或囊括对象完整信息的矩形区域；检测单元检测到一个对象并标记后，将标记区域中的局部图像数据与当前帧信息一起交由存储单元进行存储；当前帧信息的实现，其中一种实现方式，可将当前帧标记为FA，下一帧标记为FB，再下一帧标记为FC，依次类推，标记到字母Z后重新由A开始；当预设对象类型大于一种时，检测单元需要对检测出的对象数据进行类型标记；若预设对象类型为两种，一种实现方式为，将两种类型的对象数据分别标记为T1、T2；当检测单元从多帧中检测到对象后，一种可能的标记序列为：T1FA+对象数据、T2FA+对象数据、T1FB+对象数据、T2FB+对象数据、T2FC+对象数据......。所述对象信息存储，由检测单元与存储单元共同完成：存储单元依据预设对象类型，为每种类型建立一个先进先出的总容量为M的队列，用于对象相关数据，检测单元将标记后的对象相关数据传递到存储单元后，存储单元按照对象类型，依序将数据存储于对应的队列中；检测单元传递如T1FA+对象数据、T2FA+对象数据、T1FB+对象数据、T2FB+对象数据、T2Fc+对象数据......之后，存储单元分类存储结果如下：T1队列：(入队方向)......FB+对象数据-->FA+对象数据(出队方向)；T2队列：(入队方向)......FC+对象数据-->FA+对象数据(出队方向)；识别本文档来自技高网...

【技术保护点】
1.一种基于智能电视画面的对象识别方法，其特征在于，包括：步骤S100：检测单元对要显示的图像帧，按照预设对象类型进行实时检测；步骤S200：当检测到图像帧中存在对象时，将对象的局部图像数据与对象所属图像帧的信息进行分类保存至存储单元；步骤S300：识别单元收到包含对象类型的识别请求时，依据识别请求中的对象类型取出对象的相关局部图像数据进行对象识别，归并对象信息并反馈对象识别结果。

【技术特征摘要】
1.一种基于智能电视画面的对象识别方法，其特征在于，包括：步骤S100：检测单元对要显示的图像帧，按照预设对象类型进行实时检测；步骤S200：当检测到图像帧中存在对象时，将对象的局部图像数据与对象所属图像帧的信息进行分类保存至存储单元；步骤S300：识别单元收到包含对象类型的识别请求时，依据识别请求中的对象类型取出对象的相关局部图像数据进行对象识别，归并对象信息并反馈对象识别结果。2.根据权利要求1所述的一种基于智能电视画面的对象识别方法，其特征在于，所述步骤S200具体包括：步骤S210：当检测单元检测到对象时，标记出对象轮廓区域或囊括对象完整信息的矩形区域；步骤S220：存储单元根据预设对象类型，分别建立先进先出的总容量为M的队列，将标记区域中的局部图像数据与当前图像帧的信息存储于队列中。3.根据权利要求2所述的一种基于智能电视画面的对象识别方法，其特征在于，所述步骤S300具体包括：步骤S310：用户触发识别请求后，将识别请求的类型传递给识别单元；步骤S320：依据识别请求的类型，从存储单元对应的队列中取出第一帧所包含的所有对象相关的局部图像数据进行对象识别；其中第一帧指的是最靠近队列入口位置的队列元素所在的帧；若第一帧所包含的所有对象全部成功识别，则结束本次识别，跳转至步骤S330；否则继续读取相邻后续帧所包含的对象数据进行识别，直到对象全部识别成功或者队列中无数据则...

【专利技术属性】
技术研发人员：杨恩泽，
申请(专利权)人：四川长虹电器股份有限公司，
类型：发明
国别省市：四川,51