信息处理设备和位置指定方法技术

本发明专利技术提供了一种信息处理设备和一种位置指定方法。该信息处理设备包括：计算单元，计算单元被配置成基于从第一输入图像识别出的参考对象的图形来计算相对于参考对象的位置信息，位置信息指示第一输入图像的图像捕捉位置；以及生成单元，生成单元被配置成生成设定信息，在设定信息中，显示数据与作为显示数据的显示位置的、相对于参考对象的位置信息相关联，当参考对象从不同于第一输入图像的第二输入图像被识别出时，显示数据基于设定信息来被显示。

【技术实现步骤摘要】
信息处理设备和位置指定方法
本实施方式中描述的技术涉及用于指定虚拟空间中的位置的技术。
技术介绍
在与真实空间对应的三维虚拟空间中布置的三维对象的模型数据被按照将模型数据叠加在由成像设备拍摄到的捕捉图像上的方式显示。该技术将通过人的感知如视觉而采集的信息进行放大，因而被称为例如增强现实(AR)技术。在与真实空间对应的三维虚拟空间中布置的三维对象的模型数据被称为AR内容。应注意，三维对象的模型数据也被称为对象。AR内容是其中事先限定了要在三维空间中的什么位置处以什么姿态布置什么类型的对象的信息。因而，借助于AR技术，可以基于事先限定的布置来生成AR对象的投影图像，并且可以按照将该投影图像叠加在捕捉图像上的方式显示。应注意，AR对象的投影图像是基于成像设备与AR内容之间的位置关系而生成的。为了确定成像设备与AR内容之间的位置关系，使用了参考对象。例如，通常使用AR标记作为参考对象。亦即，当从由成像设备拍摄到的捕捉图像检测到AR标记时，基于在成像设备的捕捉图像中出现的AR标记的图形来确定AR标记与成像设备之间的位置关系。接着，生成反映该位置关系的与AR标记相关联的AR内容的对象的投影图像，并且将该投影图像按照叠加在捕捉图像上的方式显示(例如，国际专利公布的日本国家公布第2010-531089号、国际专利公布第WO2005-119539号)。此处，为了按照叠加在捕捉图像上的方式显示AR内容，必须事先进行创建AR内容(也被称为创作)的操作。应注意，创建AR内容的操作是生成对象并且设定关于该对象在三维空间中的布置的信息的操作。应注意，关于布置的信息是在相对于参考对象进行测量时的相对位置和姿态。此处，存在信息处理设备，其在三维位置处布置虚拟对象，该三维位置对应于由用户在平面包括面上指定的指定位置，该面是反映在输入图像中的真实空间中的对象模型中并且由用户指定的面(日本公开特许公报第2012-168798号)。亦即，信息处理设备可以根据用户针对指定位置的指令在真实空间中存在的对象模型的平面上布置虚拟对象。
技术实现思路
前述信息处理设备可通过准备限定了存在于真实空间中的对象的面的模型数据来进行用于在该面上布置虚拟对象的创作。然而，在可能期望以高度的灵活性在各种对象的面上布置虚拟对象的情况下，难以针对要在其上布置虚拟对象的对象的每个面来生成模型数据。信息处理设备可以从由模型数据限定的真实对象的面接受用于改变虚拟对象的布置位置的偏移。然而，操作必须在操作者理解为了使对象的布置位置能够改变成真实空间中的期望位置而要给出多大偏移的条件下进行。因而，本文中公开的技术的目的是在创建AR内容时更简单地指定要将对象布置于的位置。问题的解决方案根据本专利技术的一个方面，提供了一种用于创建增强现实(AR)内容信息的信息处理设备。AR内容信息用于将AR对象布置成叠加在包括参考对象的图像上。该信息处理设备包括：成像单元，成像单元被配置成获取在AR对象将被布置在的位置处捕捉到的第一输入图像；计算单元，计算单元被配置成基于从第一输入图像识别出的参考对象的图形来计算相对于参考对象的图像捕捉位置；以及内容生成单元，内容生成单元被配置成生成并存储包括图像捕捉位置的AR对象的AR内容信息。优点根据本公开内容的一个方面，在创建AR内容时可以更简单地指定要将对象布置于的位置。附图说明图1示出了相机坐标系与标记坐标系之间的关系；图2示出了相机坐标系和标记坐标系中的AR对象E的示例；图3描绘了从标记坐标系到相机坐标系的变换矩阵M以及变换矩阵M中的旋转矩阵R；图4描绘了旋转矩阵R1、旋转矩阵R2以及旋转矩阵R3；图5示出了组合图像的示例；图6示出了AR对象E的布置的示例与信息处理设备之间的位置关系；图7示出了另一组合图像的示例；图8示出了AR对象E的布置的示例与信息处理设备之间的另一位置关系；图9是用于说明本实施方式中的AR对象的布置的图示；图10是系统配置图示；图11是信息处理设备的功能框图；图12示出了标记管理表T1；图13示出了模板信息表T2；图14示出了AR内容信息表T3；图15示出了位置指定处理的处理过程的示例；图16示出了标记识别处理的处理过程的示例；图17示出了编辑处理的处理过程的示例；图18示出了模板选择画面的示例；图19示出了根据第三实施方式的编辑处理的处理过程的示例；图20是用于说明指示临时指定位置的引导显示的图示；图21示出了每个实施方式的信息处理设备的硬件配置的示例；图22示出了在计算机300上工作的程序的配置的示例；以及图23是每个实施方式的管理设备的硬件配置的示例。具体实施方式在下文中，将描述本公开内容的详细的实施方式。应注意的是，只要在处理的内容中不存在矛盾，可以适当地将以下描述的实施方式进行结合。在下文中，将参考附图描述每个实施方式。首先，将描述AR技术，在AR技术中，将布置在与真实空间对应的三维虚拟空间中的AR对象按照将AR对象叠加在由相机拍摄到的捕捉图像上的方式显示。AR对象是在虚拟空间中布置的三维对象的模型数据。另外，AR内容是限定将什么类型的AR对象以何种方式布置在虚拟空间中的信息。AR对象是例如包括多个点的模型数据。针对通过用直线和曲线对多个点进行插值而获取多个面中的每个面来设定图案(纹理)，并且通过将多个面相组合来形成三维模型。通过限定构成AR对象的所有的点相对于真实空间中存在的参考对象的坐标来布置虚拟空间中的AR对象。该对象并不存在于真实空间中的所有的点的坐标的位置处，而是相对于参考对象虚拟空间中限定了所有的点的坐标。虽然AR对象被布置在虚拟空间中，但是就相机与真实空间中的参考对象之间的位置而言的关系是基于由相机拍摄到的捕捉图像中出现的参考对象的视觉外观(图形)而确定的。使用相对于真实空间中存在的参考对象的虚拟空间中坐标以及就相机与真实空间中的参考对象之间的位置而言的关系来确定就相机与在对应于真实空间的三维虚拟空间中的AR对象的所有的点的坐标之间的位置而言的关系。基于这些就位置而言的关系来确定在相机捕捉AR对象的图像时获得的AR对象的图形。亦即，显示叠加在捕捉图像上的AR内容。下面将参考图1、图2、图3和图4进一步描述用于计算AR对象的图形的操作。图1示出了相机坐标系和标记坐标系之间的关系。图1中例示的标记M是示例性参考对象。图1中示出的标记M是正方形的，并且其大小被事先确定(例如，一条边长是5cm)。应注意，尽管图1中示出的标记M是正方形的，但是可以使用具有下述形状的另一对象作为参考对象：即使基于通过从多个视点中的任何视点的图像捕捉而获得的图形也可以通过该形状来确定与相机的相对位置和取向。例如，可以使用从捕捉图像生成的特征点等来作为参考对象。相机坐标系包括三个维度(Xc、Yc以及Zc)，并且使用例如相机的焦点作为原点(原点Oc)。例如，相机坐标系的Xc-Yc平面是与相机的成像设备的面平行的面，而Zc轴是垂直于成像设备的轴。标记坐标系包括三个维度(Xm、Ym以及Zm)，并且使用例如标记M的中心作为原点(原点Om)。例如，标记坐标系的Xm-Ym平面是平行于标记M的面，而Zm轴垂直于标记M的面。原点Om在相机坐标系中用坐标V1c(X1c,Y1c,Z1c)表示。另外，标记坐标系(Xm,Ym,Zm)相对于相机坐标系(Xc本文档来自技高网...

【技术保护点】
一种信息处理设备，包括：计算单元，所述计算单元被配置成基于从第一输入图像识别出的参考对象的图形来计算相对于所述参考对象的位置信息，所述位置信息指示所述第一输入图像的图像捕捉位置；以及生成单元，所述生成单元被配置成生成设定信息，在所述设定信息中，显示数据与作为所述显示数据的显示位置的、相对于所述参考对象的所述位置信息相关联，当所述参考对象从不同于所述第一输入图像的第二输入图像被识别出时，所述显示数据基于所述设定信息来被显示。

【技术特征摘要】
2013.07.24 JP 2013-1539951.一种用于创建增强现实AR内容信息的信息处理设备，所述AR内容信息用于将AR对象布置成叠加在包括参考对象的图像上，所述信息处理设备包括：成像单元，所述成像单元被配置成获取在所述AR对象将被布置在的位置处捕捉到的第一输入图像；计算单元，所述计算单元被配置成基于从所述第一输入图像识别出的所述参考对象的图形来计算相对于所述参考对象的图像捕捉位置；以及内容生成单元，所述内容生成单元被配置成生成并存储包括所述图像捕捉位置的所述AR对象的所述AR内容信息。2.根据权利要求1所述的信息处理设备，其中，所述图像捕捉位置是相对于所述参考对象的三维空间中的三维位置。3.根据权利要求1或2所述的信息处理设备，其中，所述计算单元在获取了用于调整所述图像捕捉位置的偏移值时基于所述偏移值和所述参考对象的所述图形来计算与所述偏移值被施加于的所述图像捕捉位置对应的位置信息。4.根据权利要求3所述的信息处理设备，还包括：显示单元，所述显示单元被配置成在所述第一输入图像上显示指示所述位置信息的引导显示，其中，当确定指令从用户输入时，所述内容生成单元生成包含所述位置信息的所述AR内容信息，所述确定指令指示所述偏移值要由用户最终确定。5.根据权利要求1或2所述的信息处理设备，还包括：识别单元，所述识别单元被配置成获取不同于所述第一输入图像的第二输入图像并且从所述第二输入图像识别出所述参考对象；...

【专利技术属性】
技术研发人员：小松龙太，
申请(专利权)人：富士通株式会社，
类型：发明
国别省市：日本;JP