【技术实现步骤摘要】
一种数据存储方法与系统
[0001]本专利技术涉及计算机
，尤其涉及一种基于推荐场景的数据存储方法与系统。
技术介绍
[0002]随着互联网的发展和普及，互联网上的信息资源呈指数膨胀，在此背景下推荐系统随之产生并被逐渐应用，很多产品可以根据用户的信息，有针对性地向用户推荐感兴趣的内容，为用户提供个性化的服务。
[0003]推荐系统作为一个广泛应用的信息过滤系统，在很多领域都取得了巨大的成功，在电子商务上，推荐系统为用户提供个性化产品，发掘用户潜在需求；在搜索引擎上，帮助用户快速找到所需信息；在新闻推荐上，使得用户不错过任何一条有趣的信息。在这些精准推荐的背后离不开大量的离线特征、在线特征对推荐算法模型和推荐引擎的支撑，因此特征存储系统成为线上推荐系统的重要支柱。
[0004]目前常用的特征存储方法为：数据经过特征生产计算写入离线特征存储系统，同步任务定时从离线特征系统全量拉取特征信息写入在线特征存储系统。但上述方法具有以下缺点：
[0005]1.离线特征和在线特征通过同步任务定时同步，所以在线特...
【技术保护点】
【技术特征摘要】
1.一种数据存储方法，其特征在于，基于推荐场景，包括：特征计算步骤：通过pyspark任务读取数据，对所述数据进行特征计算，获取特征数据；数据存储步骤：将所述特征数据经过处理后进行存储；数据查询步骤：通过sdk查询所述特征数据后输出。2.根据权利要求1所述的数据存储方法，其特征在于，所述数据存储步骤包括：中间存储步骤：调用python
‑
kafka
‑
sdk将所述特征数据写入kafka消息中间件中；数据处理步骤：通过SparkStreaming实时流任务实时处理所述kafka消息中间件中的所述特征数据；数据写入步骤：对处理完成的所述特征数据进行离线存储及/或在线存储。3.根据权利要求2所述的数据存储方法，其特征在于，所述数据写入步骤还包括通过scene_type字段将所述特征数据进行离线存储及/或在线存储。4.根据权利要求2所述的数据存储方法，其特征在于，所述数据查询步骤还包括，通过sdk对应地查询所述离线存储及/或所述在线存储的所述特征数据后输出。5.根据权利要求1至4中任一项所述的数据存储方法，其特征在于，通过version指定数据版本信息。6.一种数据存储系统，其特征在于，基于推荐场景，...
【专利技术属性】
技术研发人员：迟吉，
申请(专利权)人：北京明略软件系统有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。