以视频为中心的融媒体内容推荐方法及装置制造方法及图纸

本发明专利技术公开一种以视频为中心的融媒体内容推荐方法及装置，涉及互联网技术领域，能够以视频媒体中心向用户高效率地传播各种形式的综合性内容，并通过人工智能的手段分析和挖掘出视频内容中包含的实体元素和风格要素，通过动态关联可销售的商品完成对用户精准的商品推荐。该方法包括：整合多格式多媒体的内容数据库，聚合内容元数据信息构建内容元数据库；将内容元数据库中的每个内容元数据信息进行标签，基于内容元数据信息及标签形成融合媒体知识图谱；实时捕获视频播放时当前关键帧中的实体元素和风格要素，从融合媒体知识图谱搜索出用户关注的目标元素信息；根据目标元素信息从商品库中筛选出候选商品，并向用户推荐。

【技术实现步骤摘要】
以视频为中心的融媒体内容推荐方法及装置
本专利技术涉及互联网
，尤其涉及一种以视频为中心的融媒体内容推荐方法及装置。
技术介绍
融媒体是对多种媒体内容进行功能整合的一种媒体形式，即充分利用互联网这个载体，把广播、电视、报纸这些既有共同点，又存在互补性的不同媒体，在人力、内容、宣传等方面进行全面整合，实现资源通融、内容兼容、宣传互融、利益共融的新型媒体。融媒体发展的一个重要技术基础就是互联网，随着个人电脑和手机等终端设备的硬件技术的不断发展，越来越多的人选择使用个人电脑或者手机等终端设备观看由视频网站提供的各种电视节目。所谓视频网站是指在相关的技术平台支持下，让互联网用户在线流畅发布、浏览和分享视频作品的网站，比如优酷网、乐视网、爱奇艺等；通常视频网站也会推出自己的视频客户端应用程序(也称视频客户端)，专门用于在手机或者个人电脑等终端设备上播放视频网站提供的视频作品，例如：优酷视频客户端、爱奇艺视频客户端等。近些年短视频的发展又掀起了一波新的热潮，比如抖音、快手等。媒体和个人创作者都会通过短视频平台发布自己创作的内容，以赢得关注和粉丝，同时通过广告和电子商务的方式实现流量的转化盈利。因此，在融媒体众多的媒体形式中，视频内容无疑是核心，而其中所蕴含的核心商业模式则是通过流量转化所引导的电商交易。这里有两个步骤，一是通过融合媒体的内容传播(以视频为主体)吸引更多用户的收看和跟随，即流量；第二个步骤则在用户消费内容的时候以恰当的方式向用户推荐商品(实物或虚拟商品)，通过电商实现交易，也即是内容营销的成功转化。电子商务同样脱胎于互联网，并且已经经历了长足的发展，形成了极为庞大的生态和经济规模。随着电子商务的不断发展，越来越多的用户选择在网上进行购物。用户通过浏览器访问电子商务网站，就可以方便地选择自己所需要的商品。在很多情况下，电子商务网站会向用户进行商品推荐，例如，用户购买了某一种商品之后，会向其推荐与该商品相似或者关联的商品，又如，还可以向用户推荐新的上架的商品，打折的商品，热销的商品等等。一般来说，目前互联网上的电子商务网站是基于商品销售排行、用户对商品的评价评分或者对用户在电子商务网站的其他行为数据的分析来进行商品推荐。这种由用户直面商城的模式显然已经落后，因此发展出了社交电商、直播电商、短视频电商等新的模式。在融媒体这一新形态被定义和发展的今天，凭借其多样化的媒体形式立体协作，以及快速传播和广度覆盖的能力，势必会成为电子商务的重要引导力量。在已经公开的类似的技术方案中，通过物体识别技术将视频内容和待推销的商品关联进行推荐的方法已有若干，比如“基于视频内容的商品推荐方法和系统”(申请号：201510093789.4)、“基于视频的商品推荐方法及装置”(申请号：201610511072.1)等。这些方法的目的就是希望让用户在收看视频的过程中能够同时看到相同的实物商品，以提升用户体验和提高商品销售转化的可能性。这些方案的可行性基本可以是被确认的，但是依然存在的问题有如下几点：1、仅仅是基于视频并针对实物商品进行的关联和推荐，不适于当今融媒体内容发展的大趋势，无法以视频为中心挖掘出更多相关性内容，推荐过程的“带宽”受限，无法形成内容矩阵和网络，以及推荐的“核裂变”效应；2、用户体验是否提高值得商榷，因为单纯依据视频图像匹配出的商品进行推荐，大概率会给用户造成困扰，因为商品信息繁杂，很多商品其实并不是用户想要的，频繁的推荐相当于频繁地播放用户不想看的广告，会给用户带来很不好的体验。
技术实现思路
本专利技术的目的在于提供一种以视频为中心的融媒体内容推荐方法，能够以视频媒体中心向用户高效率地传播各种形式的综合性内容，并通过人工智能的手段分析和挖掘出视频内容中包含的实体元素和风格要素，通过动态关联可销售的商品完成对用户精准的商品推荐。为了实现上述目的，本专利技术的第一方面提供一种以视频为中心的融媒体内容推荐方法，包括：整合多格式多媒体的内容数据库，聚合内容元数据信息构建内容元数据库；将所述内容元数据库中的每个所述内容元数据信息进行标签，基于所述内容元数据信息及所述标签形成融合媒体知识图谱；实时捕获视频播放时当前关键帧中的实体元素和风格要素，从所述融合媒体知识图谱搜索出用户关注的目标元素信息；根据所述目标元素信息从商品库中筛选出候选商品，并向用户推荐。优选地，整合多格式多媒体的内容数据库，聚合内容元数据信息构建内容元数据库的方法包括：将视频格式的多媒体内容数据库、图片格式的多媒体内容数据库以及文章格式的多媒体内容数据库中的内容元数据信息进行聚合，构建内容元数据库；所述内容元数据信息包括视频数据、图片数据以及文章数据的内容标题及内容描述。较佳地，将所述内容元数据库中的每个所述内容元数据信息进行标签的方法包括：针对所述内容元数据库中的各内容元数据信息进行分类、分词和词性标注，保留其中的关键信息词；将全部所述内容元数据信息对应的关键信息词随机分配成多组数据；取其中一组数据采用预设的标签体系人工标签后作为初始训练数据集，并设置初始训练模型；针对所述初始训练数据集中的每个标签进行训练得到标签分类模型；利用所述标签分类模型训练其他组数据，直至标签准确率达到准确率阈值输出所述标签分类模型，否则针对所述标签分类模型持续优化；采用输出的所述标签分类模型对所述内容元数据库中的各内容元数据信息进行标签。进一步地，针对所述标签分类模型持续优化的方法包括：通过扩充所述初始训练数据集，和/或，调整所述初始训练模型对所述标签分类模型进行优化。优选地，在实时捕获视频播放时当前关键帧中的实体元素和风格要素之前还包括以下中的一种或多种：分析多媒体内容数据库中的视频数据，识别出关键帧图像的实体元素信息和风格要素信息扩充入融合媒体知识图谱；分析多媒体内容数据库中的图片数据，识别出图片的实体元素信息和风格要素信息扩充入融合媒体知识图谱；分析多媒体内容数据库中的文章数据，识别出其中的关键文字实体信息扩充入融合媒体知识图谱。较佳地，所述关键帧图像和所述图片中实体元素信息和风格要素信息的识别方法包括：针对所述关键帧图像和所述图片中的人脸和人体姿态进行检测，识别出人脸和躯干四肢；基于人脸识别结果搜索演员数据库得到演员的身份信息，以及基于躯干四肢识别结果识别演员的服饰风格得到演员的服装信息；针对所述关键帧图像和所述图片中除人脸和人体姿态之外的物体进行识别，得到物体的商品信息；针对所述关键帧图像和所述图片中的文字进行识别，得到文字信息；将所述身份信息、所述服装信息、所述商品信息、所述文字信息中的一种或多种扩充入融合媒体知识图谱。进一步地，所述文章数据中关键文字实体信息的识别方法包括：将所述文章数据按照句子的分隔符分句，并对每个分句进行唯一ID的分句标识；将每个句子的对象数据及其前后两个分句的分句标识进行关联，扩充入融合媒本文档来自技高网...

【技术保护点】
1.一种以视频为中心的融媒体内容推荐方法，其特征在于，包括：/n整合多格式多媒体的内容数据库，聚合内容元数据信息构建内容元数据库；/n将所述内容元数据库中的每个所述内容元数据信息进行标签，基于所述内容元数据信息及所述标签形成融合媒体知识图谱；/n实时捕获视频播放时当前关键帧中的实体元素和风格要素，从所述融合媒体知识图谱搜索出用户关注的目标元素信息；/n根据所述目标元素信息从商品库中筛选出候选商品，并向用户推荐。/n

【技术特征摘要】
1.一种以视频为中心的融媒体内容推荐方法，其特征在于，包括：
整合多格式多媒体的内容数据库，聚合内容元数据信息构建内容元数据库；
将所述内容元数据库中的每个所述内容元数据信息进行标签，基于所述内容元数据信息及所述标签形成融合媒体知识图谱；
实时捕获视频播放时当前关键帧中的实体元素和风格要素，从所述融合媒体知识图谱搜索出用户关注的目标元素信息；
根据所述目标元素信息从商品库中筛选出候选商品，并向用户推荐。


2.根据权利要求1所述的方法，其特征在于，整合多格式多媒体的内容数据库，聚合内容元数据信息构建内容元数据库的方法包括：
将视频格式的多媒体内容数据库、图片格式的多媒体内容数据库以及文章格式的多媒体内容数据库中的内容元数据信息进行聚合，构建内容元数据库；
所述内容元数据信息包括视频数据、图片数据以及文章数据的内容标题及内容描述。


3.根据权利要求2所述的方法，其特征在于，将所述内容元数据库中的每个所述内容元数据信息进行标签的方法包括：
针对所述内容元数据库中的各内容元数据信息进行分类、分词和词性标注，保留其中的关键信息词；
将全部所述内容元数据信息对应的关键信息词随机分配成多组数据；
取其中一组数据采用预设的标签体系人工标签后作为初始训练数据集，并设置初始训练模型；
针对所述初始训练数据集中的每个标签进行训练得到标签分类模型；
利用所述标签分类模型训练其他组数据，直至标签准确率达到准确率阈值输出所述标签分类模型，否则针对所述标签分类模型持续优化；
采用输出的所述标签分类模型对所述内容元数据库中的各内容元数据信息进行标签。


4.根据权利要求3所述的方法，其特征在于，针对所述标签分类模型持续优化的方法包括：
通过扩充所述初始训练数据集，和/或，调整所述初始训练模型对所述标签分类模型进行优化。


5.根据权利要求1所述的方法，其特征在于，在实时捕获视频播放时当前关键帧中的实体元素和风格要素之前还包括以下中的一种或多种：
分析多媒体内容数据库中的视频数据，识别出关键帧图像的实体元素信息和风格要素信息扩充入融合媒体知识图谱；
分析多媒体内容数据库中的图片数据，识别出图片的实体元素信息和风格要素信息扩充入融合媒体知识图谱；
分析多媒体内容数据库中的文章数据，识别出其中的关键文字实体信息扩充入融合媒体知识图谱。


6.根据权利要求5所述的方法，其特征在于，所述关键帧图像和所述图片中实体元素信息和风格要素信息的识别方法包括：
针对所述关键帧图像和所述图片中的人脸和人体姿态进行检测，识别出人脸和躯干四肢；
基于人脸识别结果搜索演员数据库得到演员的身份信息，以及基于躯干四肢识别结果识别演员的服饰风格得到演员的服装...

【专利技术属性】
技术研发人员：郑叔亮，
申请(专利权)人：北京四达时代软件技术股份有限公司，
类型：发明
国别省市：北京;11