一种基于目标检测的人脸推荐影视方法技术

本发明专利技术公开了一种基于目标检测的人脸推荐影视方法，涉及智能电视技术领域，旨在解决现有技术中用户对电视界面中的明星身份不明时，无法方便查询并获取更多相关影视资讯的问题。其技术方案要点是在服务器端进行图像的深度学习，将其应用在电视端，对电视端界面的人脸图像进行检测匹配，从而获得明星身份。本发明专利技术达到了在用户对电视界面的明星信息含糊的情况下，可通过目标检测算法能快速地识别出电视界面中的明星，并且给用户呈现该明星相关的影视信息，能在第一时间给用户提供最新的影视作品，实现个性化推荐。

A face recommendation video method based on object detection

【技术实现步骤摘要】
一种基于目标检测的人脸推荐影视方法
本专利技术涉及智能电视的
，尤其是涉及一种基于目标检测的人脸推荐影视方法。
技术介绍
智能电视已成功占据市场的主流，大部分电视的主要功能基本可以概括为：影视的搜索、教育资源的推荐、天气信息的查询、闹钟提醒的设定等。至今为止电视的主要功能依然是视频娱乐，因此，如果能够实现电视视频的个性化推荐，将会对电视用户群体带来更佳的体验。现有技术中，视频中只标注一两个主演的标签，而对于大多数的配角，用户无法通过视频简介了解他们的名字或者其他作品，对于想继续查看配角参演作品的用户来讲，需要利用其他网络工具进行搜索完成后，再转至电视搜索视频名称，才能继续在电视上进行观看，严重影响了用户的个性化体验。因此，如果能够在智能电视中根据电视端界面的影视图像获取演员信息并自动搜索该演员其他作品，将会大大提高用户体验。
技术实现思路
本专利技术的目的是提供一种基于目标检测的人脸推荐影视方法，其具有在用户对电视界面的明星信息含糊的情况下，通过目标检测算法快速地识别出电视界面中的明星，并且能给用户呈现该明星所有的影视信息的效果。本专利技术的上述专利技术目的是通过以下技术方案得以实现的：一种基于目标检测的人脸推荐影视方法，包括智能电视端和服务器端，其特征在于，包括以下步骤：S1、在服务器端采用图片标注工具对人脸照片进行标注，生成标注文件，其中标注文件中包含有表示人脸照片身份的标签信息；S2、将标注文件转为tfrecord格式文件；>S3、利用tfrecord格式文件进行模型的训练，得到目标检测训模型，将其转为tflite文件；S4、将tflite文件编译成apk文件，在电视端安装该apk文件；S5、在电视端检测电视端界面的人脸图像，利用apk文件对人脸图像进行匹配，调取匹配到的人脸照片对应的标签信息，并且将标签信息所表示的人脸照片身份在电视端界面显示。本专利技术进一步设置为：在调取标签信息时，将该标签信息上传至服务器端搜索相关影视作品，同时将查询到的所有影视作品在电视端界面中依次显示。本专利技术进一步设置为：当电视端界面的人脸图像匹配失败时，电视端界面显示提示信息。本专利技术进一步设置为：当电视端界面的人脸图像匹配到的结果数量大于一个时，将所有结果依次排列显示。本专利技术进一步设置为：利用爬虫技术自动获取网络中的人脸图片，按照步骤S1至S3的规则将处理人脸图片，再将处理后的tflite文件添加至apk文件内，自动更新人脸图像数据库。本专利技术进一步设置为：暂停或者选择截屏获取电视端人脸图像。本专利技术进一步设置为：步骤S5中，在电视端检测电视端界面的人脸图像是在暂停或者截屏获取电视端人脸图像之后对暂停界面或者截屏图像进行检测匹配。本专利技术进一步设置为：步骤S5中，在电视端检测电视端界面的人脸图像是实时对界面进行检测匹配，当出现暂停或者截屏操作时，将检测匹配到的人脸照片身份在电视端界面显示。综上所述，本专利技术的有益技术效果为：1.首先，将图像转tfrecord文件，有助于加速训练，简化图像标签匹配，实现数据集训练，然后，在桌面PC或是服务器上使用TensorFlow训练出来的模型文件，只有利用离线工具先转成tflite文件，才能直接用在TensorFlowLite上运行，最后，基于TensorFlowLite实现在电视端进行TensorFlow模型部署，从而在电视端检测明星，个性化推荐影视作品；2.通过利用爬虫技术获取人脸图片，对图片进行处理，更新人脸图像数据库，从而不断增加可识别的明星，使得影视推荐更加满足用户需求。附图说明图1是本专利技术实施例的整体结构框图。具体实施方式参照图1，本专利技术公开了一种基于目标检测的人脸推荐影视方法，包括智能电视端和服务器端，包括以下步骤：S1、在服务器端采用图片标注工具对人脸照片进行标注，生成标注文件，其中标注文件中包含有表示人脸照片身份的标签信息；S2、将标注文件转为tfrecord格式文件；S3、利用tfrecord格式文件进行模型的训练，得到目标检测训模型，将模型转为tflite文件；S4、将tflite文件编译成apk文件，在电视端安装该apk文件；S5、在电视端检测电视端界面的人脸图像，利用apk文件对人脸图像进行匹配，调取匹配到的人脸照片对应的标签信息，并且将标签信息所表示的人脸照片身份在电视端界面显示。在调取标签信息时，将该标签信息上传至服务器端搜索相关影视作品，同时将查询到的所有影视作品在电视端界面中依次显示。其中，标注工具可以为LabelImg、Labelme、yolo_mark、Vatic、Sloth、Annotorious、RectLable、VoTT等。步骤S1至S3以及S4中编译apk文件的操作均在服务器端完成。正常情况下我们训练文件夹经常会生成成千上万的图片或文本等文件，这些文件被散列存着，这样不仅占用磁盘空间，并且再被一个个读取的时候会非常慢且繁琐，占用大量内存空间。tfrecord格式的文件存储形式会很合理地存储数据。tfrecord内部使用了“ProtocolBuffer”二进制数据编码方案，它只占用一个内存块，只需要一次性加载一个二进制文件的方式即可，简单快速，尤其对大型训练数据很友好。在进行人脸图像匹配时，有可能出现电视端界面的图像并不是人脸而不可识别，或者该人脸图像未收录在数据库内，此时电视端界面的人脸图像匹配失败，电视端界面显示提示信息，相应的建议用户重新选择界面或者继续播放。明星在化妆时会给检测匹配带来影响，有可能会出现多个匹配结果。当电视端界面的人脸图像匹配到的结果数量大于一个时，将所有结果依次排列显示。在本实施例中，可以通过明星的热度进行排列，也可以通过匹配的相似度进行排列。在服务器端利用爬虫技术自动获取网络中的人脸图片，按照步骤S1至S3的规则将处理人脸图片，再将处理后的tflite文件添加至apk文件内，自动更新人脸图像数据库，从而使得影视推荐更加满足用户需求。通过电视端的遥控器暂停或者选择截屏，使得电视端界停留在某个界面上，获取电视端的人脸图像，方便且精准地进行检测匹配和影视推荐。步骤S5中，在电视端检测电视端界面的人脸图像是在暂停或者截屏获取电视端人脸图像之后对暂停界面或者截屏图像进行检测匹配。此外，在电视端检测电视端界面的人脸图像也可以是实时对界面进行检测匹配，当电视端获取到用户进行暂停或者截屏操作时，能够迅速将此时检测匹配到的人脸照片身份在电视端界面显示，并且查询相关影视作品，形成推荐列表。上述实施例的实施原理为：将目标检测与影视推荐结合起来，利用目标检测的优势，大大提升了电视用户的体验。通过训练的目标检测模型能够在电视端实时检测电视画面的人脸，得到的人脸标签传到后台服务器，从而检索到相应的影视信息，最终给用户呈现出该明星的影视作品，实现个性化推荐。本具体实施方式的实本文档来自技高网...

【技术保护点】
1.一种基于目标检测的人脸推荐影视方法，包括智能电视端和服务器端，其特征在于，包括以下步骤：/nS1、在服务器端采用图片标注工具对人脸照片进行标注，生成标注文件，其中标注文件中包含有表示人脸照片身份的标签信息；/nS2、将标注文件转为tfrecord格式文件；/nS3、利用tfrecord格式文件进行模型的训练，得到目标检测训练模型，将其转为tflite文件；/nS4、将tflite文件编译成apk文件，在电视端安装该apk文件；/nS5、在电视端检测电视端界面的人脸图像，利用apk文件对人脸图像进行匹配，调取匹配到的人脸照片对应的标签信息，并且将标签信息所表示的人脸照片身份在电视端界面显示。/n

【技术特征摘要】
1.一种基于目标检测的人脸推荐影视方法，包括智能电视端和服务器端，其特征在于，包括以下步骤：
S1、在服务器端采用图片标注工具对人脸照片进行标注，生成标注文件，其中标注文件中包含有表示人脸照片身份的标签信息；
S2、将标注文件转为tfrecord格式文件；
S3、利用tfrecord格式文件进行模型的训练，得到目标检测训练模型，将其转为tflite文件；
S4、将tflite文件编译成apk文件，在电视端安装该apk文件；
S5、在电视端检测电视端界面的人脸图像，利用apk文件对人脸图像进行匹配，调取匹配到的人脸照片对应的标签信息，并且将标签信息所表示的人脸照片身份在电视端界面显示。


2.根据权利要求1所述的一种基于目标检测的人脸推荐影视方法，其特征在于：在调取标签信息时，将该标签信息上传至服务器端搜索相关影视作品，同时将查询到的所有影视作品在电视端界面中依次显示。


3.根据权利要求2所述的一种基于目标检测的人脸推荐影视方法，其特征在于：当电视端界面的人脸图像匹配失败时，电视端界面显示提示信息。
...

【专利技术属性】
技术研发人员：许丹丹，
申请(专利权)人：南京创维信息技术研究院有限公司，
类型：发明
国别省市：江苏;32