一种辅助用户寻物的方法及装置制造方法及图纸

技术编号:16432677 阅读:351 留言:0更新日期:2017-10-22 10:00
本申请的实施例提供一种辅助用户寻物的方法及装置,涉及人工智能技术领域,主要解决现有技术中存在的无法有效的帮助盲人寻找所需物体的问题而发明专利技术。本申请实施例提供的辅助用户寻物的方法包括:确定目标物体以及目标物体相对于用户的初始三维空间位置,所述目标物体为用户待寻找的物体;生成与初始三维空间位置对应的初始虚拟空间声;在用户寻物过程中,实时更新目标物体相对于用户的三维空间位置,并生成与更新后的三维空间位置对应的新的虚拟空间声。本申请应用于盲人寻物的过程中。

A method and a device to help users find objects

An embodiment of the application provides a method and a device for assisting the user, relates to the technical field of artificial intelligence, mainly solving the problems of the prior art can not effectively help blind people needed to find the problem of object. Including the method of assisting users found an embodiment of the application of the target object and the target object: to determine the initial position relative to the three-dimensional space of the user, the user to find the target object as the object; the initial virtual spatial sound generation and initial three-dimensional space corresponding to the position of the user; in search process, real-time updates of the target object relative to the three-dimensional space the position of the user, the new virtual spatial sound position in three-dimensional space and generate and update the corresponding. This application is applied to the blind search.

【技术实现步骤摘要】
【国外来华专利技术】一种辅助用户寻物的方法及装置
本申请涉及人工智能
,尤其涉及一种辅助用户寻物的方法及装置。
技术介绍
实际生活中,盲人存在寻找特定物体的需求。为了辅助盲人寻物,现有技术中提供了一种基于认知和目标辨识的视觉替代方法,该方法通过对盲人当前所在场景进行拍摄得到场景图像,并直接检测出场景图像中出现的所有物体,并仅把该场景图像中所有物体的信息均提供给盲人,由盲人根据所得到的信息自行进行决策后寻找目标物体。这种方法对盲人寻物过程中提供的帮助有限,在盲人寻物过程中无法对盲人进行指导,因此不利于盲人及时有效的寻找所需物体。
技术实现思路
本申请的实施例提供一种辅助用户寻物的方法及装置,主要解决现有技术中存在的无法有效的帮助盲人寻找所需物体的问题。为达到上述目的,本申请的实施例采用如下技术方案:第一方面,本申请提供一种辅助用户寻物的方法,包括:确定目标物体以及所述目标物体相对于所述用户的初始三维空间位置,所述目标物体为用户待寻找的物体;生成与所述初始三维空间位置对应的初始虚拟空间声;在用户寻物过程中,实时更新所述目标物体相对于所述用户的三维空间位置,并生成与更新后的三维空间位置对应的新的虚拟空间声。第二方面,本申请提供一种辅助用户寻物的装置,包括:检测单元,用于确定目标物体,所述目标物体为用户待寻找的物体;位置确定单元,用于确定所述检测单元检测到的目标物体相对于所述用户的初始三维空间位置;虚拟空间声生成单元,用于生成与所述位置确定单元确定的所述初始三维空间位置对应的初始虚拟空间声;所述位置确定单元,还用于在用户寻物过程中,实时更新所述目标物体相对于所述用户的三维空间位置;所述虚拟空间声生成单元,还用于生成与所述位置确定单元确定的更新后的三维空间位置对应的新的虚拟空间声。第三方面,本申请提供一种电子设备,包括:存储器、通信接口和处理器,所述存储器用于存储计算机可执行代码,所述处理器用于执行所述计算机可执行代码控制执行上述辅助用户寻物方法,所述通信接口用于所述电子设备与外部设备的数据传输。第四方面,本申请提供一种机器人,包括上述电子设备。第五方面,本申请提供一种计算机存储介质,用于储存计算机软件指令,其包含执行上述辅助用户寻物的方法所设计的程序代码。第六方面,本申请提供一种计算机程序产品,可直接加载到计算机的内部存储器中,并含有软件代码,所述软件代码经由计算机载入并执行后能够实现上述辅助用户寻物的方法。本申请提供的辅助用户寻物的方法及装置,首先确定用户待寻找的物体(本申请称之为目标物体)以及目标物体相对于用户的初始三维空间位置;生成与初始三维空间位置对应的初始虚拟空间声;在用户寻物过程中,再实时更新目标物体相对于用户当前位置的三维空间位置,并生成与更新后的三维空间位置对应的新的虚拟空间声。与现有技术中,仅在初始时为用户提供其所在场景中所有物体的信息,并由用户自行决策以及寻物相比,本申请中通过将目标物体相对于用户的三维空间位置转化为虚拟空间声,将目标物体的视觉位置信息转化为声音信息,使得盲人能够根据该虚拟空间声判断目标物体的位置;且在盲人寻物过程中,随着盲人的位置不断变化,目标物体相对于盲人的三维空间位置也不断变化,基于变化的三维空间位置,实时更新虚拟空间声,有助于盲人准确判断目标物体的位置,进而及时有效的帮助盲人寻物。附图说明为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。图1为本申请实施例提供的辅助用户寻物设备的一种示意图;图2为本申请实施例提供的一种辅助用户寻物的方法的流程示意图;图3为本申请实施例提供的另一种辅助用户寻物的方法的流程示意图;图4为本申请实施例提供的又一种辅助用户寻物的方法的流程示意图;图5为本申请实施例提供的再一种辅助用户寻物方法的流程示意图;图6为本申请实施例提供的一种辅助用户寻物设备的结构示意图;图7为本申请实施例提供的另一种辅助用户寻物设备的结构示意图;图8为本申请实施例提供的又一种辅助用户寻物设备的结构示意图;图9为本申请实施例提供的一种电子设备的结构示意图。具体实施方式本申请实施例描述的系统架构以及业务场景是为了更加清楚的说明本申请实施例的技术方案,并不构成对于本申请实施例提供的技术方案的限定,本领域普通技术人员可知,随着系统架构的演变和新业务场景的出现,本申请实施例提供的技术方案对于类似的技术问题,同样适用。需要说明的是,本申请实施例中,“示例性的”或者“例如”等词用于表示作例子、例证或说明。本申请实施例中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言,使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。需要说明的是,本申请实施例中,“的(英文:of)”,“相应的(英文:corresponding,relevant)”和“对应的(英文:corresponding)”有时可以混用,应当指出的是,在不强调其区别时,其所要表达的含义是一致的。用户,尤其是盲人用户可利用电子设备辅助寻物。为了便于描述,本申请实施例中将该用于辅助用户寻物的电子设备称为辅助用户寻物设备。在所述辅助用户寻物设备的一种实现方式中,如图1所示,该辅助用户寻物的设备可以设置为智能头盔中,则用户可以佩戴该头盔,以实现本申请实施例所述的方法。该辅助用户寻物的设备还可以集成设置在移动导盲机器人中,该移动导盲机器人能够执行本申请实施例所述的方法以辅助盲人用户寻物。该辅助用户寻物设备还可以设置为其他可穿戴设备,本申请实施例对此不作限定。上述辅助用户寻物设备可通过执行本申请实施例提供的方法以实现辅助用户寻物。本申请实施例提供一种辅助用户寻物的方法,如图2所示,该方法包括:步骤101、确定目标物体。其中,所述目标物体为用户待寻找的物体。可选的,在本步骤的一种实现方式中,用户可向辅助用户寻物设备输入与待获寻物体相关的提示信息,该提示信息可以为待获寻物体的名称或者用户对待获寻物体的特征的描述;辅助用户寻物设备可接收用户输入的提示信息,并对提示信息进行关键词提取等分析后确定用户想要寻找的物体;然后辅助用户寻物设备再在预存用户所在场景对应的全景图像中进行目标检测以确定所述目标物体。其中,用户输入提示信息的方式可以为语音输入;用户输入的方式还可以为按键输入,在这种输入方式中,可以预定义一些按键组合对应的物体类别,用户通过按键来选择想要找的目标物体。所述全景图像可以通过图像采集设备对用户所处场景进行拍摄后得到,并由图像采集设备发送给辅助用户寻物设备。在本申请实施例中,该图像采集设备可以使用全景相机,全景相机不仅可以检测到用户视场内的物体,如用户前方的物体,还可以检测到用户视场以外的物体,如用户背后的物体。所述目标检测(又称为物体检测)技术可以检测出全景图像中包含的给定类别物体的二维位置,包括二维坐标和物体的宽度、高度。步骤102、确定目标物体相对于用户的初始三维空间位置。如上所述,在进行目标检测的同时,还可以得到目标物体的二维位置信息,如果想要确定目标物体的本文档来自技高网...
一种辅助用户寻物的方法及装置

【技术保护点】
一种辅助用户寻物的方法,其特征在于,包括:确定目标物体以及所述目标物体相对于所述用户的初始三维空间位置,所述目标物体为用户待寻找的物体;生成与所述初始三维空间位置对应的初始虚拟空间声;在用户寻物过程中,实时更新所述目标物体相对于所述用户的三维空间位置,并生成与更新后的三维空间位置对应的新的虚拟空间声。

【技术特征摘要】
【国外来华专利技术】1.一种辅助用户寻物的方法,其特征在于,包括:确定目标物体以及所述目标物体相对于所述用户的初始三维空间位置,所述目标物体为用户待寻找的物体;生成与所述初始三维空间位置对应的初始虚拟空间声;在用户寻物过程中,实时更新所述目标物体相对于所述用户的三维空间位置,并生成与更新后的三维空间位置对应的新的虚拟空间声。2.根据权利要求1所述的方法,其特征在于,所述确定目标物体之后,所述方法还包括:实时跟踪已确定的所述目标物体和所述用户;所述实时更新所述目标物体相对于所述用户的三维空间位置,具体包括:根据对所述目标物体和用户的跟踪结果,分别确定所述目标物体和所述用户的当前位置;根据所述目标物体和所述用户的当前位置,确定所述目标物体相对于所述用户的更新后的三维空间位置。3.根据权利要求1所述的方法,其特征在于,所述虚拟空间声的声音类别与所述目标物体的种类对应。4.根据权利要求1所述的方法,其特征在于,所述生成与更新后的三维空间位置对应的新的虚拟空间声,包括:检测所述更新后的三维空间位置与更新前的三维空间位置相比是否靠近所述用户;如果是,则生成与所述更新后的三维空间位置对应的新的虚拟空间声,且所述新的虚拟空间声的频率大于所述更新前的三维空间位置对应的虚拟空间声。5.根据权利要求1至4任一项所述的方法,其特征在于,所述确定目标物体,具体包括:接收用户输入的第一提示信息,所述第一提示信息用于指定所述目标物体;获取用户所在场景对应的全景图像,并在所述全景图像中进行目标检测以确定所述目标物体。6.根据权利要求5所述的方法,其特征在于,所述在所述全景图像中进行目标检测以确定所述目标物体,具体包括:当进行目标检测后检测到至少一个候选目标物体时,向用户输出第二提示信息,所述第二提示信息用于提示用户从所述至少一个候选目标物体中选择最终的目标物体;接收用户对所述第二提示信息的响应,并根据用户的响应确定所述目标物体。7.根据权利要求1至6任一项所述的方法,其特征在于,在生成与更新后的三维空间位置对应的新的虚拟空间声之后,所述方法还包括:当所述目标物体与所述用户的距离小于预设阈值时,语音提示用户以指导用户逐渐靠近所述目标物体。8.一种辅助用户寻物的装置,其特征在于,包括:检测单元,用于确定目标物体,所述目标物体为用户待寻找的物体;位置确定单元,用于确定所述检测单元检测到的目标物体相对于所述用户的初始三维空间位置;虚拟空间声生成单元,用于生成与所述位置确定单元确定的所述初始三维空间位置对应的初始虚拟空间声;所述位置确定单元,还用于在用户寻物过程中,实时更新所述目标物体相对于所述用户的...

【专利技术属性】
技术研发人员:南一冰廉士国李强
申请(专利权)人:深圳前海达闼云端智能科技有限公司
类型:发明
国别省市:广东,44

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1