基于人工智能推送信息流的方法和装置制造方法及图纸

本申请实施例公开了基于人工智能推送信息流的方法和装置。方法的一具体实施方式包括：获取用户在初始的关注点图谱中的当前关注点；基于当前关注点，采用上下文模型以及增强学习模型确定下一个关注点，并将下一个关注点作为推荐关注点添加至推荐关注点序列；将下一个关注点作为当前关注点，执行基于当前关注点，采用上下文模型以及增强学习模型确定下一个关注点，并将下一个关注点添加至推荐关注点序列，直至推荐关注点序列包括预定数量的推荐关注点；基于推荐关注点序列，更新关注点图谱；基于更新后的关注点图谱，向用户推送信息流。该实施方式使得推送的信息流随着推荐关注点序列的优化更为符合用户的兴趣习惯。

A method and device for pushing information flow based on Artificial Intelligence

The present application embodiment discloses a method and device based on an artificial intelligence push information flow. One embodiment of the method includes: obtaining the user in the initial focus of the current concern; current concerns based on the context model and reinforcement learning model to determine the next focus, and will be a focus of attention as the recommended point added to recommend the focus of the next sequence; as the current focus of attention, the execution of the current focus on using context model and reinforcement learning model to determine the next focus, and will add a concern to the recommended attention points, until the recommended attention point sequence including a predetermined number of recommended attention points; recommended attention sequence based on the updated concerns map; updated focus map based on the user to push information flow. This implementation makes the push information flow more consistent with the user's interest habits with the optimization of the recommended sequence of concerns.

【技术实现步骤摘要】
基于人工智能推送信息流的方法和装置
本申请涉及计算机
，具体涉及计算机网络
，尤其涉及基于人工智能推送信息流的方法和装置。
技术介绍
人工智能(ArtificialIntelligence，简称AI)技术的快速发展为人们的日常工作和生活提供了便利。人工智能是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。人工智能是计算机科学的一个分支，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器，该领域的研究包括机器人、语言识别、图像识别、自然语言处理和专家系统等。人工智能越来越多地融入到应用中，结合人工智能的应用可以准确地确定出信息的种类，并按照不同用户的需求将不同种类的信息推送给相应的用户。随着人工智能的飞速发展，如何让机器能拥有和人类一样的智能，成了无数企业希望做到的事情。在这个背景下，我们希望机器能够在用户打开页面时，呈现用户可能感兴趣的信息，过滤无效信息。常规的信息流展示是根据NewsFeed(新鲜事)产生的时间逆序排列，此外还有两种基于兴趣的推荐方式：内容关联方式和相似读者推荐方式。内容关联方式是指阅读了这些文章的读者通常又阅读了哪些文章。而相似读者推荐则是聚合具有共同阅读偏好的读者群体，以此推荐类似的阅读内容，并结合读者偏好曲线的实际改变，调整新闻资讯的推送比例。然而，上述的信息流展示，根据NewsFeed(新鲜事)产生的时间逆序排列时，其中的部分信息用户可能并不关注。而内容关联方式和相似读者推荐方式仅计算用户对单个新闻或新闻集合的感兴趣程度，对于用户偏好的计算较为粗糙，未能提供系统的信息流推荐。
技术实现思路
本申请的目的在于提出一种改进的基于人工智能推送信息流的方法和装置，来解决以上
技术介绍
部分提到的技术问题。第一方面，本申请实施例提供了一种基于人工智能推送信息流的方法，方法包括：获取用户在初始的关注点图谱中的当前关注点；基于当前关注点，采用上下文模型以及增强学习模型确定下一个关注点，并将下一个关注点作为推荐关注点添加至推荐关注点序列；将下一个关注点作为当前关注点，执行基于当前关注点，采用上下文模型以及增强学习模型确定下一个关注点，并将下一个关注点添加至推荐关注点序列，直至推荐关注点序列包括预定数量的推荐关注点；基于推荐关注点序列，向用户推送信息流。在一些实施例中，基于当前关注点，采用上下文模型以及增强学习模型确定下一个关注点包括：获取由当前关注点及由初始的关注点图谱中的历史关注点形成的历史关注点序列；采用点击率预测模型，根据历史关注点序列确定预设数量预计跳转的候选关注点；采用上下文模型，计算从当前关注点分别跳转至候选关注点的转移概率；采用增强学习模型，计算由候选关注点出发所接收到的用户连续点击次数的期望；基于转移概率和期望，确定候选关注点的评分；将评分最高的关注点确定为下一个关注点。在一些实施例中，采用上下文模型，计算从当前关注点分别跳转至候选关注点的转移概率包括：基于用户对历史关注点序列中各个历史关注点的点击，确定各个历史关注点的权重；计算从历史关注点序列跳转至下一个历史关注点的概率；根据从历史关注点序列跳转至下一个历史关注点的概率，确定从当前关注点跳转至候选关注点的转移概率。在一些实施例中，采用增强学习模型，计算由候选关注点出发所接收到的用户连续点击次数的期望包括：由用户对部分随机新闻的推送的反馈信息，学习用户兴趣；基于用户兴趣，计算由候选关注点出发所接收到的用户连续点击次数的期望。在一些实施例中，基于转移概率和期望，确定候选关注点的评分包括以下任意一项：将转移概率和期望的乘积，确定为候选关注点的评分；将转移概率和期望进行线性组合，得到候选关注点的评分；采用预定网络组合转移概率和期望，得到候选关注点的评分。在一些实施例中，初始的关注点图谱经由以下步骤确定：基于所有用户的连续搜索数据以及所有用户在信息流中的连续点击数据，确定在一个会话内所有用户的连续行为序列；基于连续行为序列，确定所有用户对信息流的连续响应策略；基于连续响应策略，确定初始的关注点图谱。在一些实施例中，方法还包括：响应于用户点击推荐关注点序列中的关注点，提升推荐关注点序列中被点击的关注点的后续关注点的期望值和/或更新上下文模型；和/或响应于用户点击推荐关注点序列中的关注点，降低推荐关注点序列中未被点击的关注点的后续关注点的期望值和/或更新上下文模型。在一些实施例中，方法还包括：基于推荐关注点序列，更新关注点图谱。第二方面，本申请实施例提供了一种基于人工智能推送信息流的装置，装置包括：当前关注点获取单元，用于获取用户在初始的关注点图谱中的当前关注点；推荐关注点确定单元，用于基于当前关注点，采用上下文模型以及增强学习模型确定下一个关注点，并将下一个关注点作为推荐关注点添加至推荐关注点序列；关注点序列确定单元，用于将下一个关注点作为当前关注点，执行基于当前关注点，采用上下文模型以及增强学习模型确定下一个关注点，并将下一个关注点添加至推荐关注点序列，直至推荐关注点序列包括预定数量的推荐关注点；信息流推送单元，用于基于推荐关注点序列，向用户推送信息流。在一些实施例中，推荐关注点确定单元进一步用于：获取由当前关注点及由初始的关注点图谱中的历史关注点形成的历史关注点序列；采用点击率预测模型，根据历史关注点序列确定预设数量预计跳转的候选关注点；采用上下文模型，计算从当前关注点分别跳转至候选关注点的转移概率；采用增强学习模型，计算由候选关注点出发所接收到的用户连续点击次数的期望；基于转移概率和期望，确定候选关注点的评分；将评分最高的关注点确定为下一个关注点。在一些实施例中，推荐关注点确定单元中采用上下文模型，计算从当前关注点分别跳转至候选关注点的转移概率包括：基于用户对历史关注点序列中各个历史关注点的点击，确定各个历史关注点的权重；计算从历史关注点序列跳转至下一个历史关注点的概率；根据从历史关注点序列跳转至下一个历史关注点的概率，确定从当前关注点跳转至候选关注点的转移概率。在一些实施例中，推荐关注点确定单元中采用增强学习模型，计算由候选关注点出发所接收到的用户连续点击次数的期望包括：由用户对部分随机新闻的推送的反馈信息，学习用户兴趣；基于用户兴趣，计算由候选关注点出发所接收到的用户连续点击次数的期望。在一些实施例中，推荐关注点确定单元中基于转移概率和期望，确定候选关注点的评分包括以下任意一项：将转移概率和期望的乘积，确定为候选关注点的评分；将转移概率和期望进行线性组合，得到候选关注点的评分；采用预定网络组合转移概率和期望，得到候选关注点的评分。在一些实施例中，当前关注点获取单元中初始的关注点图谱经由以下步骤确定：基于所有用户的连续搜索数据以及所有用户在信息流中的连续点击数据，确定在一个会话内所有用户的连续行为序列；基于连续行为序列，确定所有用户对信息流的连续响应策略；基于连续响应策略，确定初始的关注点图谱。在一些实施例中，装置还包括：提升与更新单元，用于响应于用户点击推荐关注点序列中的关注点，提升推荐关注点序列中被点击的关注点的后续关注点的期望值和/或更新上下文模型；和/或降低与更新单元，用于响应于用户点击推荐关注点序列中的关注点，降低推荐关注点序列中未被本文档来自技高网...

【技术保护点】
一种基于人工智能推送信息流的方法，其特征在于，所述方法包括：获取用户在初始的关注点图谱中的当前关注点；基于所述当前关注点，采用上下文模型以及增强学习模型确定下一个关注点，并将所述下一个关注点作为推荐关注点添加至推荐关注点序列；将所述下一个关注点作为当前关注点，执行所述基于所述当前关注点，采用上下文模型以及增强学习模型确定下一个关注点，并将所述下一个关注点添加至推荐关注点序列，直至所述推荐关注点序列包括预定数量的推荐关注点；基于所述推荐关注点序列，向用户推送信息流。

【技术特征摘要】
1.一种基于人工智能推送信息流的方法，其特征在于，所述方法包括：获取用户在初始的关注点图谱中的当前关注点；基于所述当前关注点，采用上下文模型以及增强学习模型确定下一个关注点，并将所述下一个关注点作为推荐关注点添加至推荐关注点序列；将所述下一个关注点作为当前关注点，执行所述基于所述当前关注点，采用上下文模型以及增强学习模型确定下一个关注点，并将所述下一个关注点添加至推荐关注点序列，直至所述推荐关注点序列包括预定数量的推荐关注点；基于所述推荐关注点序列，向用户推送信息流。2.根据权利要求1所述的方法，其特征在于，所述基于所述当前关注点，采用上下文模型以及增强学习模型确定下一个关注点包括：获取由所述当前关注点及由所述初始的关注点图谱中的历史关注点形成的历史关注点序列；采用点击率预测模型，根据所述历史关注点序列确定预设数量预计跳转的候选关注点；采用上下文模型，计算从所述当前关注点分别跳转至所述候选关注点的转移概率；采用增强学习模型，计算由所述候选关注点出发所接收到的用户连续点击次数的期望；基于所述转移概率和所述期望，确定所述候选关注点的评分；将评分最高的关注点确定为下一个关注点。3.根据权利要求2所述的方法，其特征在于，所述采用上下文模型，计算从所述当前关注点分别跳转至所述候选关注点的转移概率包括：基于用户对所述历史关注点序列中各个历史关注点的点击，确定各个历史关注点的权重；计算从所述历史关注点序列跳转至下一个历史关注点的概率；根据所述从所述历史关注点序列跳转至下一个历史关注点的概率，确定从当前关注点跳转至候选关注点的转移概率。4.根据权利要求2所述的方法，其特征在于，所述采用增强学习模型，计算由所述候选关注点出发所接收到的用户连续点击次数的期望包括：由用户对部分随机新闻的推送的反馈信息，学习用户兴趣；基于所述用户兴趣，计算由所述候选关注点出发所接收到的用户连续点击次数的期望。5.根据权利要求2所述的方法，其特征在于，所述基于所述转移概率和所述期望，确定所述候选关注点的评分包括以下任意一项：将所述转移概率和所述期望的乘积，确定为所述候选关注点的评分；将所述转移概率和所述期望进行线性组合，得到所述候选关注点的评分；采用预定网络组合所述转移概率和所述期望，得到所述候选关注点的评分。6.根据权利要求1所述的方法，其特征在于，所述初始的关注点图谱经由以下步骤确定：基于所有用户的连续搜索数据以及所述所有用户在信息流中的连续点击数据，确定在一个会话内所有用户的连续行为序列；基于所述连续行为序列，确定所有用户对信息流的连续响应策略；基于所述连续响应策略，确定所述初始的关注点图谱。7.根据权利要求1所述的方法，其特征在于，所述方法还包括：响应于用户点击所述推荐关注点序列中的关注点，提升所述推荐关注点序列中被点击的关注点的后续关注点的期望值和/或更新所述上下文模型；和/或响应于用户点击所述推荐关注点序列中的关注点，降低所述推荐关注点序列中未被点击的关注点的后续关注点的期望值和/或更新所述上下文模型。8.根据权利要求1-7任意一项所述的方法，其特征在于，所述方法还包括：基于所述推荐关注点序列，更新所述关注点图谱。9.一种基于人工智能推送信息流的装置，其特征在于，所述装置包括：当前关注点获取单元，用于获取用户在初始的关注点图谱中的当前关注点；推荐关注点确定单元，用于基于所述当前关注点，采用上下文模型以及增强学习模型确定下一个关注点，并将所述下一个关注点作为推荐关注点添加至推荐关注点序列；关注点序列确定单...

【专利技术属性】
技术研发人员：梁华盛，王凡，陈梦婷，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：北京,11