【技术实现步骤摘要】
本申请涉及数据处理，尤其涉及一种指令数据集构建方法、装置、设备及介质。
技术介绍
1、随着技术的发展，多模态大模型被广泛应用于各个领域，其中，指令数据集构造的优劣程度严重影响多模态大模型的能力。针对视频的指令数据集，从视频的整体描述其内容，往往不能很好的保持细节。在任务设定方面，也没有针对性的设计提升细节和时序信息获取的任务。
2、针对交通领域的视频-文本指令数据集的构建，往往视频中每帧图像的详细内容并不能涵盖视频所要表达的重点(比如动态信息)。然而针对整段视频的整体描述又缺少细节。尤其是在垂域应用上，在领域数据构建方面，往往需要重点分析的方向，现有的指令数据集构建方法并不能同时兼顾细节和时序。
技术实现思路
1、本申请提供了一种指令数据集构建方法、装置、设备及介质，用以解决现有技术中指令数据集构建方法并不能同时兼顾细节和时序的问题。
2、第一方面，本申请实施例提供了一种指令数据集构建方法，所述方法包括：
3、对样本视频中的每帧图像进行目标识别，确定每帧...
【技术保护点】
1.一种指令数据集构建方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
3.根据权利要求2所述的方法，其特征在于，所述第二提示词中还携带有删除冗余信息的子提示词。
4.根据权利要求2所述的方法，其特征在于，所述大模型为语言大模型或多模态大模型。
5.根据权利要求1所述的方法，其特征在于，所述方法还包括：
6.根据权利要求5所述的方法，其特征在于，所述识别该图像中的目标感兴趣区域包括：
7.根据权利要求6所述的方法，其特征在于，所述小模型为目标检测模型。<...
【技术特征摘要】
1.一种指令数据集构建方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
3.根据权利要求2所述的方法，其特征在于，所述第二提示词中还携带有删除冗余信息的子提示词。
4.根据权利要求2所述的方法，其特征在于，所述大模型为语言大模型或多模态大模型。
5.根据权利要求1所述的方法，其特征在于，所述方法还包括：
6.根据权利要求5所述的方法，其特征在于，所述识别该图像中的目标感兴趣区域包括：...
【专利技术属性】
技术研发人员：刘微，刘晓潇，鞠全永，郑维学，赵宇奔，李广琴，
申请(专利权)人：海信集团控股股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。