基于不确定性引导的交互式人体解析方法、系统、介质及设备技术方案

技术编号:41133272 阅读:22 留言:0更新日期:2024-04-30 18:03
本公开涉及基于不确定性引导的交互式人体解析方法、系统、介质及设备,所述方法包括:将人体图像与定位图级联作为神经网络的输入以获得分割结果;将人体图像分成四种类型的模拟点击采样区域;对所述分割结果结合点击模拟策略和点击编码方法在不同的采样区域内进行采样点击;采用批次级迭代训练方法对前一次迭代生成的不确定性及分割结果的对错进行训练;计算每个人体部位类内不确定性区域的百分比以构建语义不确定性权重,并根据所述语义不确定性权重优化四种类型的模拟点击采样区域类别间的点击分布结果。本公开从不确定性挖掘的角度提出了交互式人体解析的有效设计方案,并验证了不确定性挖掘对交互式语义分割任务的重要性。

【技术实现步骤摘要】

本公开涉及图像分割,更为具体来说,本公开涉及基于不确定性引导的交互式人体解析方法、系统、介质及设备


技术介绍

1、如图1所示,随着智能媒体的快速发展,传统的全自动人体解析在人类行为监测、行人重识别等应用场景中展现出了卓越的应用潜能。然而,由于性能有限,传统全自动人体解析模型在对分割精度要求苛刻的应用中通常导致较差的用户体验。因此,交互式人体解析凭借其能够通过少量用户提供的交互点击生成高精度人体解析结果的能力,正逐渐受到关注,并在如体感游戏、医疗辅助诊断、人体数据标注引擎等细粒度应用场景中具有广阔的发展前景。为了提高交互效率,现有的众多数交互式分割方法致力于探索合适的交互点击模拟策略和合理的点击编码方法,旨在提升模型对多样化的用户点击的鲁棒性,并将交互信息编码为易于理解的用户指示信息(即为点击区域分配正确的类别)传递给神经网络。尽管这些设计被表明是有效的,但它们忽略了考虑隐藏在人体解析过程中模型所产生的不确定性,这反映了图像中不同区域的交互难度和用户点击指示信息。忽略不确定性的交互模型设计可导致交互点击模拟和编码存在缺陷,从而限制交互效率。


...

【技术保护点】

1.一种基于不确定性引导的交互式人体解析方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述将图像分成四种类型的模拟点击采样区域具体包括:

3.根据权利要求2所述的方法,其特征在于,

4.根据权利要求1所述的方法,其特征在于,所述语义不确定性权重具体表示为:

5.根据权利要求1~4任一项中所述的方法,其特征在于,所述神经网络基于DeepLabV3+网络模型为基础模型进行修改后得到。

6.根据权利要求1~4任一项中所述的方法,其特征在于,所述方法还包括:

7.一种基于不确定性引导的交互式人体解析系统...

【技术特征摘要】

1.一种基于不确定性引导的交互式人体解析方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述将图像分成四种类型的模拟点击采样区域具体包括:

3.根据权利要求2所述的方法,其特征在于,

4.根据权利要求1所述的方法,其特征在于,所述语义不确定性权重具体表示为:

5.根据权利要求1~4任一项中所述的方法,其特征在于,所述神经网络基于deeplabv3+网络模型为基础模型进行修改后得到。

6.根据权利要求1~4任一项中所述的方法,其特征在于,所述方法还包括:

...

【专利技术属性】
技术研发人员:高宇童翁彧胥桂仙孙利娟南国顺吴旭
申请(专利权)人:中央民族大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1