【技术实现步骤摘要】
基于Hadoop的数据处理方法、装置、设备及存储介质
本专利技术涉及数据处理
，特别是涉及一种基于Hadoop的数据处理方法、装置、设备及存储介质。
技术介绍
业务员在开展保险业务的过程中，经常遇到客户要求提供目标险种的保费，因团体险种投保标的的多样性和复杂性，不同标的风险会有很大不同，对应到价格上就是保费或费率的区别，如企财险，专业的核保人往往会从企业基本信息、建筑结构、货物数量、燃烧特性、电器线路、消防设施等多个风险因子的特征，加上过往经验，综合评判给出报价，这个过程时间往往较长。目前各大产险公司可能会要求核保人基于经验整理出险种下主要标的类型的风险费率和保额系数，并基于历史数据，计算不同标的类型的利润率和费用率，最后利用精算公式计算出预估费率。但这种方法也会因实际环境变化较大，实际报价与理论报价会存在很大差异，计算得到的费率准确率并不高，若业务员以这种单一费率作为参考，也有很大可能会产生较大误差。鉴于此，亟需提供一种基于Hadoop的数据处理方法、装置、设备及存储介质以解决以上缺陷。
【技术保护点】
1.一种基于Hadoop的数据处理方法，其特征在于，所述方法包括：/n获取历史数据的预报价因子和费率，将所述历史数据的预报价因子和费率存储于Hadoop平台的HDFS系统，其中，所述预报价因子包括类别型因子和数值型因子；/n接收前端发送的携带险种类型的保险报价请求，根据所述险种类型获取所述保险报价请求的预报价因子；/n根据所述预报价因子，从HDFS系统中存储的所述历史数据中筛选出与所述保险报价请求匹配的相似案例；/n当所述相似案例的数量大于预设阈值时，利用MapReduce计算框架计算每个所述相似案例的数值型因子和所述保险报价请求的数值型因子的欧式距离，按照所述欧式距离从小...
【技术特征摘要】
1.一种基于Hadoop的数据处理方法，其特征在于，所述方法包括：
获取历史数据的预报价因子和费率，将所述历史数据的预报价因子和费率存储于Hadoop平台的HDFS系统，其中，所述预报价因子包括类别型因子和数值型因子；
接收前端发送的携带险种类型的保险报价请求，根据所述险种类型获取所述保险报价请求的预报价因子；
根据所述预报价因子，从HDFS系统中存储的所述历史数据中筛选出与所述保险报价请求匹配的相似案例；
当所述相似案例的数量大于预设阈值时，利用MapReduce计算框架计算每个所述相似案例的数值型因子和所述保险报价请求的数值型因子的欧式距离，按照所述欧式距离从小到大的顺序对所述相似案例进行排序，获取排序前第一预设数量的相似案例，根据获取的所述相似案例的费率确定中位费率和最大费率；
当所述相似案例的数量小于或等于所述预设阈值时，将所述预报价因子输入至预先训练好的第一目标模型中，根据所述第一目标模型的输出结果确定中位费率；将所述预报价因子输入至预先训练好的第二目标模型中，根据所述第二目标模型的输出结果确定最大费率；其中，所述第一目标模型是根据历史数据的预报价因子和中位费率对LightGBM模型训练得到的，所述第二目标模型是根据历史数据的预报价因子和最大费率对LightGBM模型训练得到的。
2.如权利要求1所述基于Hadoop的数据处理方法，其特征在于，所述根据所述预报价因子，从HDFS系统中存储的所述历史数据中筛选出与所述保险报价请求匹配的相似案例，包括：
在所述历史数据中查找与所述保险报价请求的各类别型因子分别相同的第一数据；
计算所述第一数据的每个数值型因子与所述保险报价请求的对应数值型因子的比值或差值；
筛选每个所述比值或差值均在预设范围内的第一数据作为相似案例。
3.如权利要求1所述基于Hadoop的数据处理方法，其特征在于，所述将所述预报价因子输入至预先训练好的第一目标模型中之前，还包括：
获取历史数据的预报价因子和对应的中位费率；
将所述历史数据的预报价因子作为训练样本输入至LightGBM模型中，得到模型输出结果；
根据所述模型输出结果和所述历史数据的中位费率对所述LightGBM模型中的模型参数进行调整，将训练好的所述LightGBM模型作为第一目标模型。
4.如权利要求1所述基于Hadoop的数据处理方法，其特征在于，所述将所述预报价因子输入至预先训练好的第二目标模型中之前，还包括：
获取历史数据的预报价因子和对应的最大费率；
将所述历史数据的预报价因子作为训练样本输入至LightGBM模型中，得到模型输出结果；
根据所述模型输出结果和所述历史数据的最大费率对所述LightGBM模型中的模型参数进行调整，将训练好的LightGBM模型作为第二...
【专利技术属性】
技术研发人员：王锷，罗攀，王鑫婕，李春晓，黄琳，卢金金，
申请(专利权)人：平安科技深圳有限公司，
类型：发明
国别省市：广东;44
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。