兼职岗位推荐系统中海量用户和岗位数据读写的缓存方法技术方案

本发明专利技术公开了一种兼职岗位推荐系统中海量用户和岗位数据读写的缓存方法，推荐系统链路中存在多种类型数据的特点，对数据在内存中存储的方式进行合理划分，按需加载，依据推荐系统中数据的业务特性和数据量级的大小分别将数据存储在JVM堆内内存、JVM堆外内存、大规模分布式缓存中。推荐系统在读取数据时,每个环节的数据会依据数据特点和数据量级存储在最合理的位置上，一方面保证了海量数据的缓存存储，另一方面上保证了推荐系统的低延时和高吞吐，还在很大程度上保证了各环节数据的实时性，从而为用户提供快速、精准的推荐服务，提高用户的体验。用户的体验。用户的体验。

【技术实现步骤摘要】
兼职岗位推荐系统中海量用户和岗位数据读写的缓存方法


[0001]本专利技术涉及数据读取处理应用领域，具体涉及一种兼职岗位推荐系统中海量用户和岗位数据读写的缓存方法。

技术介绍

[0002]当前招聘行业正经历快速发展和变革，一方面，随着互联网和全民创业的浪潮涌现，各个行业都面临产业升级，企业的竞争重点在于人才的竞争，而人才招聘则成为各家企业的头等大事。另一方面，随着移动互联网的普及和大数据技术的成熟，在线招聘成为一种高效便捷的招聘方式。但是在线招聘遇到一个问题：信息过载，也就是说在线招聘的用户不得不面对海量的招聘岗位/求职简历，如何从海量的信息中挑选出对用户有用的相关信息是一个难题。

技术实现思路

[0003]本专利技术的目的在于，提供一种兼职岗位推荐系统中海量用户和岗位数据读写的缓存方法。本专利技术可以增加数据读写的实时性，降低数据丢失和大数据场景下查询超时的风险，增加了系统的高并发能力，保证了推荐系统的低延时和高吞吐。
[0004]为解决上述技术问题，本专利技术提供的技术方案如下：兼职岗位推荐系统中海量用户和岗位数据读写的缓存方法，包括推荐系统，推荐系统经内存缓存管理获取数据中台的数据，所述数据中台中设有离线计算平台、实时计算平台、算法平台和数据仓库；所述内存缓存管理中设有分布式缓存、JVM堆外内存和JVM堆内内存；所述离线计算平台对数据仓库中的数据进行计算，将计算结果写入到分布式缓存形成用户特征离线数据、岗位特征离线数据和岗位召回离线数据，再将用户特征离线数据、岗位特征离线数据和岗位召回离线数据加载在JVM堆外内存中进行缓存管理；
[0005]所述实时计算平台对数据仓库中的数据进行计算，将计算结果写入到分布式缓存形成热点数据、实时岗位召回数据以及实时用户和岗位特征数据，其中将热点数据加载在JVM堆内内存中进行缓存管理；
[0006]所述算法平台定时将用户进行聚类，将每类用户选择的topN岗位写入分布式缓存形成模型召回岗位数据；
[0007]将数据仓库中的基础配置数据、兜底数据、粗排规则数据写入分布式缓存，并加载在JVM堆内内存中进行缓存管理；
[0008]推荐系统在读取数据时，根据需求快速定位到该数据对应的内存缓存区域，即时做出兼职岗位推荐结果。
[0009]上述的兼职岗位推荐系统中海量用户和岗位数据读写的缓存方法，所述用户特征离线数据和岗位特征离线数据形成是通过离线计算平台对数据仓库中的数据进行用户特征和岗位特征离线指标计算，将计算结果写入到分布式缓存所形成；
[0010]所述岗位召回离线数据的形成是离线计算平台按照地理位置、环境、热门程度标
签对岗位进行归类计算，然后将计算结果写入到分布式缓存所形成。
[0011]前述的兼职岗位推荐系统中海量用户和岗位数据读写的缓存方法，所述用户特征的离线指标包括历史数据中的用户点击岗位协同、用户历史最常用的访问地址、年龄、性别和访问端口；所述岗位特征的离线指标包括历史数据中的曝光数、报名数、点击数、CTR、CVR、岗位的经纬度和岗位的状态。
[0012]前述的兼职岗位推荐系统中海量用户和岗位数据读写的缓存方法，推荐系统在读取用户特征离线数据、岗位特征离线数据和岗位召回离线数据时，先去JVM堆外内存中加载，加载不到时再去分布式缓存中读取并更新JVM堆外内存。
[0013]前述的兼职岗位推荐系统中海量用户和岗位数据读写的缓存方法，所述热点数据的形成是通过实时计算平台对数据仓库中岗位的访问频次进行实时计算，统计出top100的岗位作为热点数据；
[0014]所述实时用户和岗位特征数据的形成是通过实时计算平台监听数据仓库中binlog的变更对当天的用户特征和岗位特征实时指标进行计算，然后将计算结果写入到分布式缓存所形成；
[0015]所述实时岗位召回数据的形成是通过实时计算平台监听数据仓库中岗位表binlog的变动对当天新发的岗位数据实时存储到分布式缓存中所形成。
[0016]前述的兼职岗位推荐系统中海量用户和岗位数据读写的缓存方法，所述用户特征实时指标包括当天数据中的用户点击岗位协同、用户历史最常用的访问地址、年龄、性别和访问端口；所述岗位特征实时指标包括当天数据中的曝光数、报名数、点击数、CTR、CVR、岗位的经纬度和岗位的状态。
[0017]前述的兼职岗位推荐系统中海量用户和岗位数据读写的缓存方法，所述算法平台中设有聚类模型，通过聚类模型定时根据用户特征和岗位特征数据进行训练，从而将用户进行聚类。
[0018]前述的兼职岗位推荐系统中海量用户和岗位数据读写的缓存方法，所述推荐系统在读取数据时执行流程包括召回、获取用户和岗位特征、粗排、模型精排和兜底；
[0019]所述召回步骤会依据JVM堆内内存中的基础配置数据从JVM堆外内存和分布式缓存中分别读取岗位召回离线数据和实时岗位召回数据；
[0020]所述获取用户和岗位特征步骤从JVM堆外内存和分布式缓存中分别读取用户特征离线数据、岗位特征离线数据和实时用户和岗位特征数据；
[0021]所述粗排步骤从JVM堆内内存中读取粗排规则数据；
[0022]所述精排步骤利用算法平台进行；
[0023]所述兜底步骤从JVM堆内内存中读取兜底数据。
[0024]与现有技术相比，本专利技术利用了推荐系统链路中存在多种类型数据的特点，对数据在内存中存储的方式进行合理划分，按需加载，依据推荐系统中数据的业务特性和数据量级的大小分别将数据存储在JVM堆内内存、JVM堆外内存、大规模分布式缓存中。其中将岗位基础配置数据、兜底数据、粗排规则数据这些数据量级小，访问频繁的数据从数据仓库中加载后放在JVM堆内内存中进行缓存管理；将用户特征离线数据、岗位特征离线数据、岗位召回离线数据这些数据量级相对较大，访问频繁但是更新不是很频繁的数据由离线计算平台写入分布式缓存，然后JVM堆外内存从分布式缓存中加载管理；将实时岗位召回数据、实
时用户特征和岗位特征数据、模型召回数据这些需要多平台介入、实时性强的数据由实时计算平台和算法平台写入到分布式缓存中管理；热点数据因为其数据实时性强且访问频率的特点会由实时计算平台写入分布式缓存，然后JVM堆内内存从分布式缓存中加载管理，由此推荐系统在读取数据时，能够快速定位到数据所在内存区域进行读取，然后在推荐链路完成后即时做出兼职岗位推荐结果，由此本专利技术可以增加数据读写的实时性，降低数据丢失和大数据场景下查询超时的风险，增加了系统的高并发能力，保证了推荐系统的低延时和高吞吐。
附图说明
[0025]图1是本专利技术的示意图。
具体实施方式
[0026]下面结合实施例和附图对本专利技术作进一步的说明，但并不作为对本专利技术限制的依据。
[0027]实施例：兼职岗位推荐系统中海量用户和岗位数据读写的缓存方法，如图1所示，包括推荐系统，推荐系统经内存缓存管理获取数据中台的数据，所述数据中台中设有离线计算平台(利用大数据的技术栈(主要是Hadoop)，在计算开始前准备好本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.兼职岗位推荐系统中海量用户和岗位数据读写的缓存方法，包括推荐系统，推荐系统经内存缓存管理获取数据中台的数据，所述数据中台中设有离线计算平台、实时计算平台、算法平台和数据仓库；所述内存缓存管理中设有分布式缓存、JVM堆外内存和JVM堆内内存，其特征在于：所述离线计算平台对数据仓库中的数据进行计算，将计算结果写入到分布式缓存形成用户特征离线数据、岗位特征离线数据和岗位召回离线数据，再将用户特征离线数据、岗位特征离线数据和岗位召回离线数据加载在JVM堆外内存中进行缓存管理；所述实时计算平台对数据仓库中的数据进行计算，将计算结果写入到分布式缓存形成热点数据、实时岗位召回数据以及实时用户和岗位特征数据，其中将热点数据加载在JVM堆内内存中进行缓存管理；所述算法平台定时将用户进行聚类，将每类用户选择的topN岗位写入分布式缓存形成模型召回岗位数据；将数据仓库中的基础配置数据、兜底数据、粗排规则数据写入分布式缓存，并加载在JVM堆内内存中进行缓存管理；推荐系统在读取数据时，根据需求快速定位到该数据对应的内存缓存区域，即时做出兼职岗位推荐结果。2.根据权利要求1所述的兼职岗位推荐系统中海量用户和岗位数据读写的缓存方法，其特征在于：所述用户特征离线数据和岗位特征离线数据形成是通过离线计算平台对数据仓库中的数据进行用户特征和岗位特征离线指标计算，将计算结果写入到分布式缓存所形成；所述岗位召回离线数据的形成是离线计算平台按照地理位置、环境、热门程度标签对岗位进行归类计算，然后将计算结果写入到分布式缓存所形成。3.根据权利要求2所述的兼职岗位推荐系统中海量用户和岗位数据读写的缓存方法，其特征在于：所述用户特征的离线指标包括历史数据中的用户点击岗位协同、用户历史最常用的访问地址、年龄、性别和访问端口；所述岗位特征的离线指标包括历史数据中的曝光数、报名数、点击数、CTR、CVR、岗位的经纬度和岗位的状态。4.根据权利要求1所述的兼职岗位推荐系统中海量用户和岗位数据读写的缓存方法，其特征在于...

【专利技术属性】
技术研发人员：吴永生，吴建，周佳宁，赵洪涛，
申请(专利权)人：杭州弧途科技有限公司，
类型：发明
国别省市：