【技术实现步骤摘要】
本申请涉及地产营销，具体为一种面向地产营销领域的多模态智能对话方法。
技术介绍
1、sft：supervised fine tuning，监督微调；
2、llm：large language model，大规模语言模型，比如chatgpt、chatglm等；
3、chatglm2-6b：支持中文的国产开源大模型；
4、qwen-vl-chat：阿里巴巴开源的通义千问多模态大模型；
5、反向传播算法：反向传播(bp,back propagation)是“误差反向传播”的简称，是一种与最优化方法(如梯度下降法)结合使用的，用来训练人工神经网络的常见方法；
6、在当前地产行业的营销场景中，现有的智能客服系统存在一定的局限性。这些系统只能回答话术库中已存在的问题，而这些问题的种类相对较为单一。此外，智能客服仅在匹配到客户提出的问题时，才会返回相应话术库中的答案。然而，在实际情况下，客户在咨询问题时，通常会提供相关的图片信息，如户型图、样板房或沙盘模型的照片，并结合这些图片内容进行提问。
7、在这种情况下，现有的智能客服系统难以做出正确的回应。即使采用现有的llm技术构建智能客服，这类系统仍然只能理解客户文字中的含义，而无法对图片信息进行准确的理解和分析。因此，现有的智能客服系统在面对文图结合的问题时，无法为客户提供满意的解答。
技术实现思路
1、本申请的目的在于提供一种面向地产营销领域的多模态智能对话方法，以解决上述背
2、为实现上述目的，本申请提供如下技术方案：一种面向地产营销领域的多模态智能对话方法，包括以下步骤：
3、步骤1、构建品牌bot私有数据集，基于各个地产行业已有的历史沟通会话数据，先对人工数据进行梳理，将多伦对话转化为问答对格式，在此过程中，需要将问题分类为两大类：纯文本问题和图文问题；完成数据问题的分类后，利用大模型来训练一个问题分类器；
4、步骤2、数据增强，基于开源大模型chatglm2，将已有的历史沟通会话数据输入大模型进行预训练，同时利用大模型的通用对话和理解能力，对梳理好的数据问题进行数据增强，将原始数据进行变换和扩展；
5、步骤3、基于不同的开源基座大模型做sft，对于纯文本问答数据，基于chatglm2做sft，生成一个可以处理地产场景的问答模型；对于图文问答数据，基于qwen-vl-chat做sft，生成一个可以处理图文的问答模型；
6、步骤4、线上部署，部署步骤1得到的问题分类器，将问题分类器部署到服务器上，当客户提交问题时，通过api调用问题分类器，传入问题内容，问题分类器将问题分类为纯文本问题或图文问题，并返回分类结果；部署步骤3得到的纯文本问答模型和图文问答模型，依据问题分类器得到的不同的问题类别调用不同的模型去理解和回答。
7、优选的，所述步骤1中纯文本问题为仅涉及文本的问答，而图文问题为涉及到文本和图像的问答。
8、优选的，所述步骤3中地产场景问答模型的生成需要将预处理后的文本数据输入到chatglm2模型中，得到文本特征，然后使用余弦相似度函数计算问题的向量特征与答案向量特征之间的相似度，计算出模型预测的答案与真实标注的答案之间的差距后，通过反向传播算法来更新模型的参数，通过循环迭代，让模型在这个垂直场景下学习到更适合这个场景的专业回答能力。
9、优选的，所述步骤3中图文问答模型的生成需要将文本和图像分别输入到两个不同的编码器中，得到文本特征和图像特征，然后将这两个特征合并成一个复合特征，用于让模型能够同时捕捉和处理文本和图像中的信息，最后，通过一个分类器将匹配结果转化为具体的答案。
10、优选的，将每个具体的答案都输入到模型中，计算模型输出匹配结果，并将该结果与真实标签进行比较，在训练过程中，冻结了视觉编码器以防止模型混乱的情况，全局batchsize为128，最大学习率为1e-5，最小学习率为1e-6，同时以3000步做warmup。
11、优选的，所述步骤4中通过django框架将问题分类器部署到服务器上。
12、与现有技术相比，本申请的有益效果是：
13、1)本专利技术通过整合并分析地产行业的垂直场景数据，提出了一种基于多模态的智能对话方法，设计并构建了一种地产行业的品牌bot，能够有效地适应并服务于地产行业的智能化营销场景，为用户提供更高质量的服务体验，提高地产行业的营销效率和转化效果。
14、2)本专利技术还考虑到地产行业的特殊性，对品牌bot进行了专门的优化和设计，具备丰富的地产行业知识库，能够准确回答用户关于地产营销的各种问题；bot还能够根据用户的行为和反馈，进行实时的情感分析，以便更好地理解用户的需求，提供更精准的服务。
本文档来自技高网...【技术保护点】
1.一种面向地产营销领域的多模态智能对话方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种面向地产营销领域的多模态智能对话方法，其特征在于：所述步骤1中纯文本问题为仅涉及文本的问答，而图文问题为涉及到文本和图像的问答。
3.根据权利要求1所述的一种面向地产营销领域的多模态智能对话方法，其特征在于：所述步骤3中地产场景问答模型的生成需要将预处理后的文本数据输入到chatGLM2模型中，得到文本特征，然后使用余弦相似度函数计算问题的向量特征与答案向量特征之间的相似度，计算出模型预测的答案与真实标注的答案之间的差距后，通过反向传播算法来更新模型的参数，通过循环迭代，让模型在这个垂直场景下学习到更适合这个场景的专业回答能力。
4.根据权利要求1或3任一项所述的一种面向地产营销领域的多模态智能对话方法，其特征在于：所述步骤3中图文问答模型的生成需要将文本和图像分别输入到两个不同的编码器中，得到文本特征和图像特征，然后将这两个特征合并成一个复合特征，用于让模型能够同时捕捉和处理文本和图像中的信息，最后，通过一个分类器将匹配结果转化为具体的答案。
5.根据权利要求4所述的一种面向地产营销领域的多模态智能对话方法，其特征在于：将每个具体的答案都输入到模型中，计算模型输出匹配结果，并将该结果与真实标签进行比较，在训练过程中，冻结了视觉编码器以防止模型混乱的情况，全局batchsize为128，最大学习率为1e-5，最小学习率为1e-6，同时以3000步做warmup。
6.根据权利要求1所述的一种面向地产营销领域的多模态智能对话方法，其特征在于：所述步骤4中通过Django框架将问题分类器部署到服务器上。
...【技术特征摘要】
1.一种面向地产营销领域的多模态智能对话方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种面向地产营销领域的多模态智能对话方法，其特征在于：所述步骤1中纯文本问题为仅涉及文本的问答，而图文问题为涉及到文本和图像的问答。
3.根据权利要求1所述的一种面向地产营销领域的多模态智能对话方法，其特征在于：所述步骤3中地产场景问答模型的生成需要将预处理后的文本数据输入到chatglm2模型中，得到文本特征，然后使用余弦相似度函数计算问题的向量特征与答案向量特征之间的相似度，计算出模型预测的答案与真实标注的答案之间的差距后，通过反向传播算法来更新模型的参数，通过循环迭代，让模型在这个垂直场景下学习到更适合这个场景的专业回答能力。
4.根据权利要求1或3任一项所述的一种面向地产营销领域的多模态智能对...
【专利技术属性】
技术研发人员：李翔，汪凡，吴江，
申请(专利权)人：珠海市卓轩科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。