【技术实现步骤摘要】
本申请涉及计算机,具体涉及一种访客提醒方法、多模态融合大模型的微调方法及相关装置。
技术介绍
1、随着智能技术的不断进步和应用领域的扩展,访客提醒系统已不再局限于家庭安全,而广泛应用于商铺、办公场所、工业园区等各种场景。在这些场合中,及时、准确地识别和通知访客的到访情况,显得尤为重要。
2、传统的访客提醒方式多依赖门铃声或简单的通知方式,目前的部分访客提醒系统可以实现访客的实时监测和身份识别,但是误报率较高,无法为用户提供更准确的访客信息,而且难以充分满足不同场景下的多样化需求。
3、因此,研发一种更智能、更有效的访客提醒方法,具有重要的现实意义和应用价值。
技术实现思路
1、本申请实施例提供了一种访客提醒方法、多模态融合大模型的微调方法及相关装置,以解决以上问题。
2、第一方面,本申请实施例提供了一种访客提醒方法,所述方法包括:
3、响应于访客来访信号,采集门前监控区域的多模态数据;
4、基于所述多模态数据生成目标提示指令;其中
...【技术保护点】
1.一种访客提醒方法,其特征在于,所述方法包括:
2.根据权利要求1所述的访客提醒方法,其特征在于,所述多模态数据包括图像类型、视频类型和音频类型、文本类型、传感器类型中至少两种数据类型的数据;
3.根据权利要求2所述的访客提醒方法,其特征在于,所述第一提示模板包括以下提示指令中的至少两种:
4.根据权利要求1所述的访客提醒方法,其特征在于,所述基于所述多模态数据生成目标提示指令,包括:
5.根据权利要求1所述的访客提醒方法,其特征在于,所述方法还包括:
6.一种多模态融合大模型的微调方法,其特征在于,所述多
...【技术特征摘要】
1.一种访客提醒方法,其特征在于,所述方法包括:
2.根据权利要求1所述的访客提醒方法,其特征在于,所述多模态数据包括图像类型、视频类型和音频类型、文本类型、传感器类型中至少两种数据类型的数据;
3.根据权利要求2所述的访客提醒方法,其特征在于,所述第一提示模板包括以下提示指令中的至少两种:
4.根据权利要求1所述的访客提醒方法,其特征在于,所述基于所述多模态数据生成目标提示指令,包括:
5.根据权利要求1所述的访客提醒方法,其特征在于,所述方法还包括:
6.一种多模态融合大模型的微调方法,其特征在于,所述多模态融合大模型适用于由处理器基于所述多模态融合大模型执行如权利要求1~5任意一项所述的访...
【专利技术属性】
技术研发人员:杨颖慧,
申请(专利权)人:北京视觉世界科技有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。