显示处理装置、显示方法和程序制造方法及图纸

显示处理装置从拍摄了书（10）的页的图像（摄影图像）内提取标记图像。然后，根据提取出的标记图像生成表示页的弯曲程度的曲面（170）。然后，在摄影图像上重叠根据曲面（170）对虚拟物体（180）进行变形后的虚拟图像，在HMD（20）中显示该重叠后的图像。

【技术实现步骤摘要】
【国外来华专利技术】
本专利技术涉及增强现实技木。
技术介绍
增强现实(AR Augmented Reality)技术是指在现实世界的图像上重叠虚拟物体使用户观看的技木。为了实现对用户造成的不舒适感较少的增强现实感，需要根据现实世界的图像在适当位置显示适当种类的虚拟物体。关于这点,在非专利文献I中，使用搭载了照相机的HMD(Head Mounted Display/头戴式显示器)作为显示器件，利用由该照相机拍摄的标记的位置或标记独自的图案，进行 应该在HMD中显示的虚拟物体的处理。现有技术文献专利文献专利文献I :日本专利3993423号公报非专利文献非专利文献I :加藤博一ら著「マーカー追跡に基づく拡張現実感システムとそのキヤリブレーシヨン」日本VR学会論文誌Vol4、No4、pp60 (1999)
技术实现思路
专利技术要解决的课题本专利技术人研讨了针对佩戴HMD进行读书的用户显示与书页对应的虚拟物体的技术。例如，如果在印刷了背景画的儿童书的页中显示作为虚拟物体的人物的图像，则能够给用户带来跃动感。但是，正在读书的用户打开的书的页有时会弯曲，所以，为了不给用户带来不舒适感，需要考虑现实世界中的这种弯曲来显示虚拟物体。本专利技术是鉴于这种问题而完成的，在拍摄了书页的摄影图像(现实世界的图像)上重叠显示虚拟物体时，显示结合了页的弯曲程度的适当形态的虚拟物体。用于解决课题的手段本专利技术的显示处理装置在拍摄了现实世界的摄影图像上重叠显示虚拟物体，其特征在于，该显示处理装置具有取得単元，取得拍摄了书页的摄影图像；提取单元，从所取得的摄影图像中提取I个以上的标记图像；生成単元，根据所述标记图像生成表示所拍摄的页的弯曲程度的曲面；以及显示处理单元，根据所述曲面对虚拟物体进行变形，在所述摄影图像上重叠显示变形后的虚拟物体。专利技术效果根据本专利技术的显示处理装置，能够有助于以结合了页的弯曲程度的适当形态显示虚拟物体。附图说明图I是示出读书系统I的概要的图。图2是示出打开的书10的外观的图。图3是嵌入标记2L、2R中的标记内部信息的例子。图4是HMD20的功能框图。图5是示出与重叠显示有关的处理的流程图。图6是示出曲面计算处理的流程图。图7是示出3个坐标系的图。图8是示出曲面计算处理的流程的一例的图。图9是示出曲面计算处理的流程的一例的图。图10是示出重叠显示的例子的图。图11是嵌入标记2L、2R中的标记内部信息的例子。图12是HMD21的功能框图。图13是示出重叠显示的例子的图。图14是示出与重叠显示有关的处理的流程图。图15是示出曲面计算处理的流程图。图16是示出设定附近点的例子的图。图17是HMD20的功能框图。图18是示出与重叠显示有关的处理的流程图。具体实施例方式下面，參照附图对实施方式进行说明。(实施方式I)〈结构〉图I是示出读书系统的概要的图。如图I所示，读书系统I构成为包括书10和用户佩戴的HMD20。HMD20生成拍摄了打开的书10的两页的图像(现实世界的图像)，在该图像上重叠显示与各页对应的虚拟物体，从而充实或补充书10的内容。在重叠显示吋，为了不给用户带来不舒适感，优选以虚拟物体正好存在于纸页上的方式进行显示。但是，纸制的书10的页有时会弯曲，所以，在将虚拟物体贴在完全平坦的平面上进行显示的情况下，可能给用户带来虚拟物体向页的上下方向或页的前后方向偏移这样的不舒适感。因此，在本实施方式的读书系统I中，生成结合了页的实际弯曲程度的曲面，以与所生成的曲面对应的适当形态重叠显示虚拟物体。图2是示出打开的书10的外观的图。 如图2 (a)所示，在书10的左页的左下和右下部分印刷有标记2L、2R。右页也同样印刷有4L、4R。这样，左右页的结构相同，所以，下面，以与左页的重叠显示有关的部分为中心进行说明。 并且，在书10的左页中，将页与脊(spine)相接的部分称为喉部(gutter)15，将除去该喉部15以外的三个边称为小口 16a 16c (在图2中由虚拟的双点划线示出。)。特别地，将上方的边即小口 16a称为“上边”，将下方的边即小口 16c称为“下边”。參照图2 (b)对标记2L进行说明。另外，其他标记2R、4L、4R的结构与标记2L相同。标记2L在四个角具有切出符号2a 2d，其余部分为黑白图案。切出符号2a 2d的黑与白的长度之比为黑白黑白黑=1 I 3 I :1，该比用于检测标记2L的位直和大小。这样,标记2L与作为ニ维码之一的QR (Quick Response)码类似,但是，QR码在三个角具有切出符号，与此相对，标记2L在四个角具有切出符号，这点与QR码不同。并且，与QR码同样，能够利用黒白图案在标记2L中嵌入最大几KB程度的信息。下面，将嵌入标记2L、2R中的信息称为“标记内部信息”。图3示出标记内部信息的例子。如图3 (a)所示,标记内部信息包括表示印刷有标记的书页的“页”20a、页的“纸面尺寸” 20b、“标记坐标”20c、“标记尺寸” 20d这4个项目。上述“标记坐标” 20c表示在标记的4个顶点中、位于远离页中央的一侧且在上下方向中位于“下”方向侧的点的坐标。图3 (b)是根据图3 Ca)的标记内部信息而得到的信息的图。特别地，根据两个标记2L、2R的坐标(50、750)、(450、750)，标记间的距离为400。图4是HMD20的功能框图。HMD20具有照相机22、取得部23、标记提取部24、坐标信息存储部26、标记读取部28、内部信息存储部30、虚拟物体取得部32、曲线计算部38、曲面生成部40、曲面信息存储部42、显示引擎44、显示器46。照相机22具有通过拍摄而生成图像的功能。例如是像素数为几百万像素的CMOS(Complementary Metal Oxide Semiconductor/互补金属氧化物半导体)照相机,朝向与佩戴HMD20的用户的视线一致的方向而安装在HMD20的筐体上。取得部23取得由照相机拍摄的图像。标记提取部24从由取得部23取得的图像中检测四个角的切出符号2a 2d，从而提取标记图像的区域。在本说明书中，将现实中印刷在页上的标记简称为“标记”，将从摄影图像中提取出的标记称为“标记图像”，对两者进行区分。然后，将表示提取出的标记图像的区域的坐标的坐标信息存储在坐标信息存储部26中。标记读取部28从由标记提取部24提取出的标记图像的区域内读取标记内部信息，将读取出的内部信息存储在内部信息存储部30中。该读取方法可以使用在QR码中利用的手法。虚拟物体取得部32具有虚拟物体确定部34和虚拟物体存储部36。虚拟物体存储部36与页码相关联地存储多个虚拟物体。虚拟物体确定部34根据在内部信息存储部30中存储的内部信息的页码，从在虚拟物体存储部36中存储的多个虚拟物体中确定与该页码对应的虚拟物体。列举一例时，如图3 (a)所示，如果“页”13a的项目为35页，则虚拟物体确定部34从在虚拟物体存储部36中存储的多个虚拟物体中，确定与该35页对应的虚拟物体。曲线计算部38根据坐标信息存储部26的坐标信息和内部信息存储部30的内部信息，计算表示照相机22拍摄的打开的书10的页的弯曲的程度的曲线。曲面生成部40根据曲线计算部38计算出的曲线，计算曲面，并将其存储在曲面信息存储部42中。显示引擎44根本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】...

【专利技术属性】
技术研发人员：柏本和俊，
申请(专利权)人：松下电器产业株式会社，
类型：发明
国别省市：