【技术实现步骤摘要】
本申请涉及视觉问答,特别是涉及一种答案确定方法、装置、电子设备及存储介质。
技术介绍
1、vqa(visual question answering,视觉问答)任务能够根据图像以及某一与图像相关的问题,预测出该问题对应的答案。vqa任务过程中,通常是根据ocr(opticalcharacter recognition,光学字符识别)方法识别得到图像中的文本信息,并直接根据ocr识别得到的文本信息,确定该问题对应的答案。但是,由于ocr识别存在一定的误差,可能会出现将图像中的文本识别错误的情况,因此,若直接将ocr识别得到的文本作为该问题对应的答案,则会导致视觉问答预测出的答案的准确性降低。
技术实现思路
1、本申请实施例的目的在于提供一种答案确定方法、装置、电子设备及存储介质,以实现提高视觉问答预测出的答案的准确性。具体技术方案如下:
2、本申请实施例提供了一种答案确定方法,所述方法包括:
3、通过ocr识别得到目标图像中存在的各原始文本,并获取各所述原始文本的多模
...【技术保护点】
1.一种答案确定方法,其特征在于,所述方法包括:
2.根据权利要求1所述的方法,其特征在于,所述针对各所述目标文本,根据所述目标文本对应的各上下文文本的多模态特征,预测得到所述目标图像中所述目标文本的位置处的文本,作为所述目标文本对应的预测文本,包括:
3.根据权利要求1所述的方法,其特征在于,所述针对各所述目标文本,根据所述目标文本对应的各上下文文本的多模态特征、所述目标文本的语义特征,预测得到所述目标文本为准确识别得到的文本的概率,作为所述目标文本的目标概率,包括:
4.根据权利要求2或3所述的方法,其特征在于,所述根据所述当前
...【技术特征摘要】
1.一种答案确定方法,其特征在于,所述方法包括:
2.根据权利要求1所述的方法,其特征在于,所述针对各所述目标文本,根据所述目标文本对应的各上下文文本的多模态特征,预测得到所述目标图像中所述目标文本的位置处的文本,作为所述目标文本对应的预测文本,包括:
3.根据权利要求1所述的方法,其特征在于,所述针对各所述目标文本,根据所述目标文本对应的各上下文文本的多模态特征、所述目标文本的语义特征,预测得到所述目标文本为准确识别得到的文本的概率,作为所述目标文本的目标概率,包括:
4.根据权利要求2或3所述的方法,其特征在于,所述根据所述当前目标文本对应的各上下文文本的多模态特征,确定所述当前目标文本的上下文特征,作为新的当前上下文特征,包括:
5...
【专利技术属性】
技术研发人员:吴慧妍,李灿,乔梁,
申请(专利权)人:杭州海康威视数字技术股份有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。