【技术实现步骤摘要】
本专利技术涉及视频实例分割技术中实例匹配的方法，特别是涉及基于查询的视频实例分割技术中实例匹配的方法。
技术介绍
1、视频实例分割任务在2019年被提出，被定义为同时检测、分割和跟踪视频中的实例，将每个视频帧中的实例从背景和其他实例中精确地分离出来并在视频的不同帧内追踪关联相同实例。视频实例分割技术有着广泛的应用。当下自主驾驶技术正在飞速发展，视频实例分割技术可以帮助自动驾驶车辆更准确地识别前方的交通信号灯、行人、车辆等物体，从而更好地做出驾驶决策。在医疗图像处理领域，视频实例分割技术可以帮助医生更准确地检测和定位肿瘤等问题，提高诊断准确率和诊断效率。除此之外，视频实例分割技术还可以被广泛应用于电影特效制作、虚拟现实、智能监控等视频理解领域。研究视频实例分割技术对于提高计算机视觉技术的水平，推动多媒体信息处理与应用的发展具有重要意义。
2、视频实例分割技术大致分为两种模式：在线实例实例分割技术和离线型视频实例分割技术。相较于离线型视频实例分割技术，在线视频实例分割技术在处理长视频序列和连续视频序列任务上有着很大的优势，但是分割的准确性却远不如离线型视频实例分割网络，对此wu[1]等做了深入分析，证明了因不同实例存在外观相似性而导致的实例关联错误是在线视频实例分割网络与离线型视频实例分割网络在性能上具有较大差距的主要原因。
3、与视频实例分割任务一同被提出的mask-track r-cnn[2]视频实例分割技术将实例匹配问题视为分类问题，用n个数字表示已经存在的n个实例，用0表示未曾出现的实例。sipmas
4、参考文献：
5、[1]wu j,liu q,jiang y,et al.in defense of online models for videoinstance segmentation[c]//computer vision–eccv 2022:17th european conference,tel aviv,israel,october 23–27,2022,proceedings,part xxviii.cham:springernature switzerland,2022:588-605.
6、[2]yang l,fan y,xu n.video instance segmentation[c]//proceedings ofthe eee/cvf international conference on computer vision.2019:5188-5197.
7、[3]cao j,anwer r m,cholakkal h,et al.sipmask:spatial informationpreservation for fast image and video instance segmentation[c]//computervision–eccv 2020:16th european conference,glasgow,uk,august 23–28,2020,proceedings,part xiv 16.springer international publishing,2020:1-18.
8、[4]fu y,yang l,liu d,et al.compfeat:comprehensive feature aggregationfor video instance segmentation[c]//proceedings of the aaai conference onartificial intelligence.2021,35(2):1361-1369.
9、[5]wang t,xu n,chen k,et al.end-to-end video instance segmentationvia spatial-temporal graph neural networks[c]//proceedings of the ieee/cvfinternational conference on computer vision.2021:10797-10806.
10、[6]huang d a,yu z,anandkumar a.minvis:a minimal video instancesegmentation framework without video-based training[j].arxiv preprint arxiv:2208.02245,2022.
11、[7]kuhn h w.the hungarian method for the assignment problem[j].navalresearch logistics(nrl),2005,52(1):7-21.
技术实现思路
1、本专利技术旨在解决现有的基于查询的在线视频实例分割方法中实例匹配错误的问题，提供一种基于多帧信息的实例匹配方法，技术方案如下：
2、一种基于多帧信息的实例匹配方法，包括下列步骤：
3、(1)对视频进行基于查询的实例分割，设当前帧实例查询为qt，将当前帧实例查询分别与在前帧进行匹配，设经过匹配后的前t帧的实例查询依次为qt-1，qt-2，qt-3，......，qt-t；
4、(2)计算实例查询cosine相似性分数，得到t个二维相似性分数矩阵si∈[-1,1]n×n，i＝1,2,3......t，n是存储空间中存储的实例查询帧数，t≤n；
5、(3)对于上一步骤得到的t个二维相似性分数矩阵si，经过时间加权和topk两个不同分支的融合，将经过两种不同融合方法得到的相似性分数进行相加后经过softmax函数得到最终的相似性分数，方法如下：
6、在时间加权分支，对于t个二维相似性分数矩阵si，根据前t帧实例查询与当前帧实例查询的时域距离分配不同的权重系数相乘后相加融合为一个相似性分数矩阵stime，与当前帧时域距离越近分配的权重越大；...
【技术保护点】
1.一种基于多帧信息的实例匹配方法，包括下列步骤：
2.根据权利要求1所述的实例匹配方法，其特征在于，步骤(3)中，设权重系数为ai，其计算公式如下：
【技术特征摘要】
1.一种基于多帧信息的实例匹配方法，包括下列步骤：
2.根据权利要求1...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。