显示设备及界面内容标注方法技术

技术编号:43785612 阅读:21 留言:0更新日期:2024-12-24 16:19
本申请一些实施例提供一种显示设备及界面内容标注方法,所述方法通过响应于第一请求标注指令,获取当前显示的界面图像以及用户界面的元信息,再将第一请求标注指令、界面图像以及元信息输入至多模态检索系统检索关联信息,再将关联信息、第一请求标注指令以及界面图像输入至多模态理解模型生成标注反馈信息,控制显示器在用户界面上显示标注反馈信息。所述方法通过多模态检索系统对多模态信息执行信息检索,其中,通过使用第一请求标注指令、界面图像以及元信息等作为多模态信息,可提升信息检索和理解的准确性,进而提高标注内容的准确率。

【技术实现步骤摘要】

本申请涉及显示设备,尤其涉及一种显示设备及界面内容标注方法


技术介绍

1、显示设备是指能够输出画面的终端设备。输出的画面可以为图像画面,也可以为视频画面。以视频画面为例,用户在观看视频画面时的需求不局限于观看,视频画面内还存在不同人物、场景等内容,用户的需求还包括了解视频画面不同内容的信息。

2、为识别输出画面的内容,可提取输出画面内文字内容,通过检索增强技术执行识别。其中,检索增强技术通过文本检索的方式获取标注信息,仅能执行单一模态检索,即文本信息,但无法识别画面中人物、场景等标注内容。

3、对于人物的识别,可通过计算机视觉和机器学习技术,对视频中的内容进行识别、分类和标注。例如,用户的需求为了解视频画面内的人物信息,可通过截取图像,再通过视频内容分析标注识别视频画面内的人物信息,并将人物信息反馈给用户。但只能处理单一模态的信息,无法对场景等其他内容分析标注,导致标注内容的准确率低。


技术实现思路

1、本申请提供一种显示设备及界面内容标注方法,以解决标注内容的准确率低的问题。...

【技术保护点】

1.一种显示设备,其特征在于,包括:

2.根据权利要求1所述的显示设备,其特征在于,所述控制器执行响应于第一请求标注指令,具体被配置为:

3.根据权利要求1所述的显示设备,其特征在于,所述控制器执行获取当前显示的界面图像以及用户界面的元信息,具体被配置为:

4.根据权利要求3所述的显示设备,其特征在于,所述控制器执行将所述关联信息、所述第一请求标注指令以及所述界面图像输入至多模态理解模型,以通过所述多模态理解模型生成标注反馈信息,具体被配置为:

5.根据权利要求3所述的显示设备,其特征在于,所述控制器执行将所述关联信息、所述第一请求标注指令...

【技术特征摘要】

1.一种显示设备,其特征在于,包括:

2.根据权利要求1所述的显示设备,其特征在于,所述控制器执行响应于第一请求标注指令,具体被配置为:

3.根据权利要求1所述的显示设备,其特征在于,所述控制器执行获取当前显示的界面图像以及用户界面的元信息,具体被配置为:

4.根据权利要求3所述的显示设备,其特征在于,所述控制器执行将所述关联信息、所述第一请求标注指令以及所述界面图像输入至多模态理解模型,以通过所述多模态理解模型生成标注反馈信息,具体被配置为:

5.根据权利要求3所述的显示设备,其特征在于,所述控制器执行将所述关联信息、所述第一请求标注指令以及所述界面图像输入至多模态理解模型,以通过所述多模态理解模型生成标注反馈信息后...

【专利技术属性】
技术研发人员:刘天元付爱国王立新
申请(专利权)人:海信视像科技股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1