一种基于分割大模型的大批量多视角目标图像分割系统技术方案

本发明专利技术提供一种基于分割大模型的大批量多视角目标图像分割系统，通过提示生成模块根据人体关键点信息得到一组新的提示点坐标信息或者其他提示形式的信息，用处理得到的提示信息作为基于分割大模型的图像分割模块的输入，获取最终分割掩码结果；也就是说，本发明专利技术生成了额外的提示信息，用于提示指引分割大模型去分割用户指定的目标，自动化程度高，不需要额外提供绿幕或者空背景等预设信息、不需要固定照相机、不需要单一视角，即可进行高效的、精准的、鲁棒性的目标分割掩码计算，即使在动态背景下、动态目标的复杂情况下也能够实现大批量的目标图像分割掩码。

【技术实现步骤摘要】

本专利技术属于人工智能，分割大模型和模型三维重建，尤其涉及一种基于分割大模型的大批量多视角目标图像分割系统。

技术介绍

1、alexander kirillov等人通过为基础大模型segment anything model(sam)构造合适的prompt，能够计算多种不同类别目标对象的掩码(mask)，并具备对新样本计算掩码的zero-shot能力，但是缺少定向分割指定目标的能力，尤其是在人体分割方面，无法实现大批量分割人体图片的任务。matthew loper等人通过结合分割大模型segment anything和目标检测算法yolo v8，实现了对指定标签物体的分割；然而，由于训练方式的不同，sam的分割结果和目标检测算法的结果之间存在较大差距，无法提供准确的结果。此外，有学者利用视频中的时间信息提高了人类视频抠图质量和时间一致性，并通过新的训练策略增强了模型的鲁棒性，然而，此方法仅适用于固定背景视频抠图，对于变化背景的人像抠图效果不佳。还有学者通过引入背景图片和额外的信息，在自然场景下的人像抠图任务中取得了很好的效果，实现了更加简便和高效的抠图过程本文档来自技高网...

【技术保护点】

1.一种基于分割大模型的大批量多视角目标图像分割系统，其特征在于，包括图像采集模块、关键点获取模块、提示生成模块、图像分割模块、三维重建模块；

2.如权利要求1所述的一种基于分割大模型的大批量多视角目标图像分割系统，其特征在于，还包括三维姿态提取模块与自适应修正模块；

3.如权利要求1所述的一种基于分割大模型的大批量多视角目标图像分割系统，其特征在于，所述关键点获取模块还包括关键点联合提取模块、关键点映射模块；

4.如权利要求1所述的一种基于分割大模型的大批量多视角目标图像分割系统，其特征在于，所述完全框住待分割目标的边界框为没有旋转角度的空心矩形框；...

【技术特征摘要】

1.一种基于分割大模型的大批量多视角目标图像分割系统，其特征在于，包括图像采集模块、关键点获取模块、提示生成模块、图像分割模块、三维重建模块；

2.如权利要求1所述的一种基于分割大模型的大批量多视角目标图像分割系统，其特征在于，还包括三维姿态提取模块与自适应修正模块；

3.如权利要求1所述的一种基于分割大模型的大批量多视角目标图像分割系统，其特征在于，所述关键点获取模块还包括关键点联合提取模块、关键点映射模块；

4.如权利要求1所述的一种基于分割大模型的大批量多视角目标图像分割系统，其特征在于，所述完全框住待分割目标的边界框为没有旋转角度的空心矩形框；

5.如权利要求1所述的一种基于分割大模型的大批量多视角目标图像分割系统，其特征在于，所述待分割目标的文本描述信息...

【专利技术属性】
技术研发人员：翁冬冬，杨庆，王涌天，
申请(专利权)人：北京理工大学，
类型：发明
国别省市：