访客提醒方法、多模态融合大模型的微调方法及相关装置制造方法及图纸

技术编号:46627140 阅读:0 留言:0更新日期:2025-10-14 21:24
本申请公开了一种访客提醒方法、多模态融合大模型的微调方法及相关装置,属于计算机技术领域。所述方法包括:响应于访客来访信号,采集门前监控区域的多模态数据;基于所述多模态数据生成目标提示指令;将所述目标提示指令输入所述多模态融合大模型,得到所述多模态融合大模型输出的访客提醒文本;通过语音播报所述访客提醒文本,以提醒用户注意访客来访。本申请能为用户提供更全面的访客信息,并生成包含丰富访客信息的访客提醒文本,提升了访客提醒的准确度和丰富程度,以更好地适应复杂环境或不同场景下的监控需求,通过语音播报访客提醒文本的方式,极大地提升了用户获取门前信息的便捷性与效率。

【技术实现步骤摘要】

本申请涉及计算机,具体涉及一种访客提醒方法、多模态融合大模型的微调方法及相关装置


技术介绍

1、随着智能技术的不断进步和应用领域的扩展,访客提醒系统已不再局限于家庭安全,而广泛应用于商铺、办公场所、工业园区等各种场景。在这些场合中,及时、准确地识别和通知访客的到访情况,显得尤为重要。

2、传统的访客提醒方式多依赖门铃声或简单的通知方式,目前的部分访客提醒系统可以实现访客的实时监测和身份识别,但是误报率较高,无法为用户提供更准确的访客信息,而且难以充分满足不同场景下的多样化需求。

3、因此,研发一种更智能、更有效的访客提醒方法,具有重要的现实意义和应用价值。


技术实现思路

1、本申请实施例提供了一种访客提醒方法、多模态融合大模型的微调方法及相关装置,以解决以上问题。

2、第一方面,本申请实施例提供了一种访客提醒方法,所述方法包括:

3、响应于访客来访信号,采集门前监控区域的多模态数据;

4、基于所述多模态数据生成目标提示指令;其中,所述目标提示指令用本文档来自技高网...

【技术保护点】

1.一种访客提醒方法,其特征在于,所述方法包括:

2.根据权利要求1所述的访客提醒方法,其特征在于,所述多模态数据包括图像类型、视频类型和音频类型、文本类型、传感器类型中至少两种数据类型的数据;

3.根据权利要求2所述的访客提醒方法,其特征在于,所述第一提示模板包括以下提示指令中的至少两种:

4.根据权利要求1所述的访客提醒方法,其特征在于,所述基于所述多模态数据生成目标提示指令,包括:

5.根据权利要求1所述的访客提醒方法,其特征在于,所述方法还包括:

6.一种多模态融合大模型的微调方法,其特征在于,所述多模态融合大模型适用于...

【技术特征摘要】

1.一种访客提醒方法,其特征在于,所述方法包括:

2.根据权利要求1所述的访客提醒方法,其特征在于,所述多模态数据包括图像类型、视频类型和音频类型、文本类型、传感器类型中至少两种数据类型的数据;

3.根据权利要求2所述的访客提醒方法,其特征在于,所述第一提示模板包括以下提示指令中的至少两种:

4.根据权利要求1所述的访客提醒方法,其特征在于,所述基于所述多模态数据生成目标提示指令,包括:

5.根据权利要求1所述的访客提醒方法,其特征在于,所述方法还包括:

6.一种多模态融合大模型的微调方法,其特征在于,所述多模态融合大模型适用于由处理器基于所述多模态融合大模型执行如权利要求1~5任意一项所述的访...

【专利技术属性】
技术研发人员:杨颖慧
申请(专利权)人:北京视觉世界科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1