【技术实现步骤摘要】
本专利技术涉及图像识别，尤其涉及一种基于缺陷检测和分析的多模态大模型优化方法及系统。
技术介绍
1、近年来，随着我国电力需求的不断增长，电力系统已成为生产和生活中不可或缺的基础设施。在电力场景中存在丰富的算法需求，如人员操作规范性判断、电力系统状态估计、系统潜在风险评估、电力设备状态检测和分析等。在电力设备缺陷识别方面(如设备表计表盘模糊破损、绝缘子破裂、金属件锈蚀等)，缺陷设备可能带来巨大隐患，传统人力检测往往无法及时发现并预警，维护成本高昂。结合多模态大模型的人工智能算法，可以有效降低人力物力投入，实现快速响应、精准报警和全天候监测。
2、随着多模态大模型技术的兴起，多模态大模型因其卓越的跨模态表征和泛化能力，展现出巨大的应用潜力。这一技术是人工智能领域的前沿方向，通过结合提示词、文本、图像、音频和视频等多种数据类型，提升模型的理解、推理和生成能力。通过整合更多模态的信息，模型能够全面理解复杂查询，实现跨模态知识融合和应用，在电力系统丰富场景中显著提升效能。
3、然而，多模态大模型的训练数据规模和参数量巨大，...
【技术保护点】
1.一种基于缺陷检测和分析的多模态大模型优化方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于缺陷检测和分析的多模态大模型优化方法，其特征在于，具体包括以下步骤：
3.根据权利要求2所述的一种基于缺陷检测和分析的多模态大模型优化方法，其特征在于，在步骤S1中，所述训练集数据对的构成方法是将所收集到电力场景下用户验证后的文本数据集T和电力场景图像数据集G构建成总量为N个样本类别总数为C的多模态数据集D＝(T，G)，文本模态为图片模态提供语义指导，图片模态为文本模态提供应用场景，利用不同模态之间的知识互补单一模态的信息不足。
...【技术特征摘要】
1.一种基于缺陷检测和分析的多模态大模型优化方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于缺陷检测和分析的多模态大模型优化方法，其特征在于，具体包括以下步骤：
3.根据权利要求2所述的一种基于缺陷检测和分析的多模态大模型优化方法，其特征在于，在步骤s1中，所述训练集数据对的构成方法是将所收集到电力场景下用户验证后的文本数据集t和电力场景图像数据集g构建成总量为n个样本类别总数为c的多模态数据集d＝(t，g)，文本模态为图片模态提供语义指导，图片模态为文本模态提供应用场景，利用不同模态之间的知识互补单一模态的信息不足。
4.根据权利要求2所述的一种基于缺陷检测和分析的多模态大模型优化方法，其特征在于，在步骤s1中，对于电力场景训练样本分类和标记是根据电力场景和设备类别从常见情况、实际适用场性和与其他类别的差异以比例进行评级，对于分级后的图像样本区分为标志性物体图像、标志性场景图像和非标志性图像分别进行类别标记、实例定位、实例分割任务；对于大量的电力场景和设备类别使用分层方法标记，将所有的类别划分为k个超类和s个子类；只需要k个标记人员划分超类，并对每个超类中的子类进行属性标记和分类，分层标记方法拆分数据集标注任务，让标记人员在自己更为熟悉...
【专利技术属性】
技术研发人员：匡鹏晖，何文伟，
申请(专利权)人：深圳市莱达四维信息科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。