基于PoolingFeed文本分类模型同时实现智能问答及推荐方法技术

本发明专利技术设计AI语言分析技术领域，特别是基于PoolingFeed文本分类模型同时实现智能问答及推荐方法。结合Pooling池化与Feed的小型神经网络模型PoolingFeed，使用的Average Pooling不含参数，完成token间交互的同时又比多头注意力机制、卷积更加高效；而Feed即feed‑forward，可以提高模型的拟合能力。两种机制的结合使得模型在具备强大拟合能力的同时，对比大语言模型具有成本更低、效率更高、推广性更好的优势。

【技术实现步骤摘要】

本专利技术设计ai语言分析，特别是基于poolingfeed文本分类模型同时实现智能问答及推荐方法。

技术介绍

1、大语言模型优秀的通用问答能力使得各大公司及领域专家相继投入研究，然而大语言模型训练成本、部署成本都极高，随着kv cache、flashattention等加速技术的引入，大模型的推理速度优化正逐渐逼近极限。但针对很多只有几千甚至几百个问答对的需求场景，此时也争相使用大语言模型，这必然浪费大量的算力资源，通过外挂知识库或者微调训练的大模型也并不能精准完成指定问答任务。

2、基于上述大语言模型存在的问题，本专利技术在重新审视传统小模型优势的基础上，提出了一种结合pooling池化与feed的小型神经网络模型poolingfeed，使用不含参数的average pooling，完成token间交互的同时又比多头注意力机制、卷积更加高效；而feed即feed-forward，可以提高模型的拟合能力。两种机制的结合使得模型在具备强大拟合能力的同时，对比大语言模型具有成本更低、效率更高、推广性更好的优势。同时本专利技术创新的提出了一种端到端本文档来自技高网...

【技术保护点】

1.基于PoolingFeed文本分类模型同时实现智能问答及推荐方法，其特征在于包括如下步骤：

2.根据权利要求1所述基于PoolingFeed文本分类模型同时实现智能问答及推荐方法，其特征在于所述S5中针对模型训练的连续100个反向传播的损失函数loss值取平均，记录为loss1，然后在3小时后记录连续100个反向传播的loss值取平均，记录为loss2，如果模型损失值loss1-loss2<0.01，即停止训练，保存模型。

3.根据权利要求1所述基于PoolingFeed文本分类模型同时实现智能问答及推荐方法，其特征在于所述S6中执行判断条件为：cond...

【技术特征摘要】

1.基于poolingfeed文本分类模型同时实现智能问答及推荐方法，其特征在于包括如下步骤：

2.根据权利要求1所述基于poolingfeed文本分类模型同时实现智能问答及推荐方法，其特征在于所述s5中针对模型训练的连续100个反向传播的损失函数loss值取平均，记录为loss1，然后在3小时后记录连续100个反向传播的loss值取平均，记录为loss2，如果模型损失值loss1-loss2<0.01，即停止训练，保存模型。

【专利技术属性】
技术研发人员：曹肖攀，贾晓婷，马国祖，李军俊，孙力泽，张文浩，秦涛，
申请(专利权)人：中电万维信息技术有限责任公司，
类型：发明
国别省市：