白板和文档图像检测方法和系统技术方案

在一些示例中，用于确定图像中的白板的边界的技术和架构包括检测图像中的多个四边形、将图像划分成多个网格、确定每个网格的颜色、计算多个四边形的至少一部分的交集空间、确定交集空间的颜色，以及至少部分地基于每个网格的颜色和交集空间的颜色来确定图像的前景和图像的背景，其中前景在白板的边界内。可至少部分地基于在图像的前景中的相应四边形内的笔划－标记的数量来对四边形进行排序。可至少部分地基于排序来确定图像中的白板的边界。

【技术实现步骤摘要】
【国外来华专利技术】白板和文档图像检测方法和系统背景移动计算设备(诸如智能电话和平板)正越来越多地被用来代替独立的相机，用于捕捉与工作场所中的各种生产力场景(例如，包括幻灯片演示、头脑风暴会话等的会议)相关联的白板、黑板(例如具有彩色背景的书写表面)以及文档的照片。捕获的摄影图像随后可被用在用于生成电子文档的一个或多个生产力应用中。然而，上述摄影图像的捕捉可能会因一些缺陷而受到损害。例如，许多照片必须以一个角度(这可能是由于用户所处的房间的物理尺寸的限制)并且在不太理想的照明条件(例如，由于会议室中的源自入射光的眩光)下进行拍摄。因此，捕获的摄影图像经常包含在外部生产力应用中使用该图像之前可能至少部分地被矫正的不想要的视角偏移(perspectiveskew)以及不想要的区域(例如在白板框架之外的墙或在文档页边界之外的桌子表面)。此外，捕获的摄影图像可包含入射光残余的反射，从而使得这些图像在被生产力应用软件消费之前需要被“清理”。概述本公开描述了用于检测由例如智能手机、平板或任何其他合适的移动计算设备捕获的图像的白板区域或文档区域的边界的技术和架构。具体而言，这样的边界可包括通过四边形检测过程在图像中检测到的相对大量的四边形结构中的一个。该边界通过选择由根据一组准则被相应地排序的一些四边形候选中的一个来确定。四边形检测过程可涉及利用基于颜色的边缘检测的线段检测器。在将一系列线段拟合到检测到的边缘点之后，该过程包括移除和合并小的或不稳定的线段的直线验证功能。减少直线的数量提高了直线检测的准确度并且可加速四边形检测过程。两种不同的排序处理被用于确定四边形候选中的哪个四边形是图像的白板或文档区域的边界。一种排序处理可被用于白板图像，而另一种排序处理可被用于文档图像。例如，针对白板图像的排序处理可涉及用于帮助标识图像中的白板区域的笔划－标记(stroke-mark)检测，同时排除可能在图像的背景中的诸如白色墙壁或白色桌子的模棱两可的区域。针对文档图像的排序处理可涉及考虑图像中的直线颜色对比度的能量函数。提供本概述以便以简化的形式介绍以下在详细描述中进一步描述的一些概念。本概述并不旨在标识所要求保护主题的关键特征或必要特征，也不旨在用于限制所要求保护主题的范围。例如术语“技术”可指代上述上下文和通篇文档中所准许的(诸)系统、(诸)方法、计算机可读指令、(诸)模块、算法、硬件逻辑(例如，现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、片上系统(SOC)、复杂可编程逻辑器件(CPLD))和/或(诸)其他技术。附图简述详细描述参考附图进行阐述。在附图中，附图标记中最左边的数字标识该附图标记首次出现的附图。在不同附图中使用同一附图标记指示相似或相同的项或特征。图1是描绘根据各种实现的其中可实现本文中所描述的技术的环境的框图。图2是描绘根据各种实现的其中可实现本文中所描述的技术的设备的框图。图3是根据各种实现的其中可实现本文中所描述的技术的移动计算设备的框图。图4例示了根据各种实现的计算设备的屏幕显示，该计算设备包括用于捕捉图像以供处理的用户界面。图5是例示根据各种实现的检测包括白板图像或文档图像的图像中的四边形的过程的流程图。图6是例示根据各种实现的检测包括白板图像或文档图像的图像中的边缘的过程的流程图。图7是例示根据各种实现的针对包括白板图像或文档图像的图像的直线检测和验证的过程的流程图。图8和图9例示了根据各种实现的对共线直线合并(collinearlinemerging)的建模。图10是例示根据各种实现的共线直线合并的过程的流程图。图11是例示根据各种实现的检测笔划－标记以及对候选四边形进行排序的过程的流程图。图12是例示根据各种实现的确定图像中的白板区域的边界的过程的流程图。详细描述概览本公开描述了用于检测由例如智能手机、平板或其他移动计算设备或计算设备所捕获的图像中的白板或文档的边界的技术和架构。这样的边界可包括四边形结构，以下被称为“四边形”。包括白板或文档的图像还可包括背景(例如，在白板/文档的区域之外的图像区域)和前景(例如，在白板/文档的区域内的图像区域)。背景和前景可包括一些直线、形状、标记、对比颜色部分等。例如，图像的白板区域可能基本上被用干擦笔(dryeraser)或其他毡笔(feltpen)书写工具所写的文字、图画、表格等的标记覆盖。这样的毡笔标记在下文中被称为笔划－标记。因此，除了作为白板边界的四边形之外，这样的图像的数字化分析可检测任何数量的四边形。因此，本文中所描述的实现尤其描述了用于确定多个四边形中的哪个表示图像的白板或文档区域的边界的技术。在一些实现中，用于确定图像中的白板或文档区域的边界的技术可包括将图像的文档区域或图像的白板区域划分成多个颜色分量，并且检测图像的文档区域或图像的白板区域中的边缘。该技术还可包括至少部分地基于检测到的边缘来生成线段，以及生成包括线段的子集的四边形候选。随后可根据四边形候选作为图像的文档区域或图像的白板区域的边界的可能性对四边形候选进行排序。在一些实现中，可针对包括文档区域的图像执行第一类型的排序处理，而针对包括白板区域的图像可执行第二类型的排序处理。第一类型的排序处理不同于第二类型的排序处理。例如，第一类型的排序处理可涉及向四边形候选分配相应的分数，其中个体四边形候选的分数至少部分地基于对该个体四边形候选至少部分地加以限定的区域的颜色对比度。在一些实现中，被用于包括白板区域的图像的第二类型的排序处理可包括将包括白板区域的图像划分成多个网格、确定每个网格的颜色、计算四边形候选的至少一部分的交叉空间、确定交叉空间的颜色，以及至少部分地基于每个网格的颜色和交叉空间的颜色来确定图像的前景和图像的背景。参考图1-12进一步描述各种实现。示例环境图1是描绘根据各种实现的在其中涉及本文所述的图像处理的实现可以操作的环境100的框图。在一些示例中，环境100的各种设备和/或组件包括可经由一个或多个网络104彼此通信并与外部设备通信的分布式计算资源102。例如，(诸)网络104可包括诸如因特网之类的公共网络、诸如机构和/或个人内联网的专用网络或者专用和公共网络的一些组合。(诸)网络104还可包括任何类型的有线和/或无线网络，包括但不限于局域网(LAN)、广域网(WAN)、卫星网络、有线网络、Wi-Fi网络、WiMax网络、移动通信网络(例如3G、4G等)或其任何组合。(诸)网络104可利用通信协议，包括基于分组的和/或基于数据报的协议，诸如网际协议(IP)、传输控制协议(TCP)、用户数据报协议(UDP)或其他类型的协议。而且，(诸)网络104还可包括促进网络通信和/或形成网络的硬件基础的一些设备，诸如交换机、路由器、网关、接入点、防火墙、基站、中继器、主干设备等等。在一些示例中，(诸)网络104可进一步包括能够连接到无线网络(诸如无线接入点(WAP))的设备。各示例支持通过在各种电磁频率(例如，射频)上发送和接收数据的WAP的连接，包括支持电气和电子工程师协会(IEEE)1302.11标准(例如，1,302.11g、1302n等)的WAP和其他标准。在各种示例中，(诸)分布式计算资源102包括计算设备，诸如设备106(1)–106(N)本文档来自技高网...

【技术保护点】
一种用于图像处理的方法，所述方法包括：接收包括示出白板的区域的图像；检测所述图像中的多个四边形；将所述图像划分成多个网格；确定每个网格的颜色；计算所述多个四边形的至少一部分的交集空间；确定所述交集空间的颜色；以及至少部分地基于所述每个网格的颜色和所述交集空间的颜色来确定所述图像的前景和所述图像的背景，其中所述前景在示出所述白板的所述区域的边界内。

【技术特征摘要】
【国外来华专利技术】1.一种用于图像处理的方法，所述方法包括：接收包括示出白板的区域的图像；检测所述图像中的多个四边形；将所述图像划分成多个网格；确定每个网格的颜色；计算所述多个四边形的至少一部分的交集空间；确定所述交集空间的颜色；以及至少部分地基于所述每个网格的颜色和所述交集空间的颜色来确定所述图像的前景和所述图像的背景，其中所述前景在示出所述白板的所述区域的边界内。2.如权利要求1所述的方法，其特征在于，其中示出所述白板的所述区域包括笔划－标记，并且所述方法还包括：至少部分地基于在所述图像的所述前景中的相应四边形内的所述笔划－标记的数量对所述多个四边形进行排序；以及至少部分地基于所述排序来确定示出所述白板的所述区域的边界。3.如权利要求1所述的方法，其特征在于，其中检测所述图像中的所述多个四边形包括：将所述图像划分成颜色通道，使得每个颜色通道包括所述图像的一种分量颜色；检测每个分量彩色图像的边缘，以便生成多条直线；以及至少部分地基于预先确定的准则，选择所述多条直线的子集以形成所述多个四边形。4.如权利要求3所述的方法，其特征在于，其中所述预先确定的准则至少部分地基于(i)所述直线相对于彼此的角度和(ii)所述直线在所述图像中的位置。5.如权利要求3所述的方法，其特征在于，其中所述多条直线包括直线对，并且所述方法还包括：至少部分地基于每对直线对的直线彼此重叠的量，将所述直线对中的每一对分类成三种直线对类型中的一种，并且其中所述预先确定的准则至少部分地基于所述直线对的分类。6.如权利要求1所述的方法，其特征在于，其中所述图像是彩色图像，并且其中检测所述图像中的所述多个四边形包括：将所述彩色图像转换成包括所述笔划－标记的至少一部分的灰度图像；对所述灰度图像应用高斯差分操作以生成高斯差分图像；以及将阈值准则和泛洪填充(Flood-fill)操作应用于所述高斯差分图像以减少所述笔划－标记的数量。7.如权利要求1所述的方法，其特征在于，其中所述多个四边形的所述至少一部分包括从所述多个四边形提取出的四边形的次优子集。8.一种系统，包括：接收示出文档或白板的图像的输入机制；一个或多个处理单元；以及其上具有模块的计算机可读介质，所述模块包括：将示出所述文档或所述白板的所述图像划分成多个颜色分量的颜色划分模块；检测示出所述文档或所述白板的所述图像中的边缘的边缘检测模块；至少部分地基于所检测到的边缘来生成线段的线段生成器模块；生成包括所述线段的子集的四边形候选的四边形生成器模块；以及根据所述四边形候选是所述文档或所述白板的边界的可能性对所述四边形候选进行排序的排序模块。9.如权利要求8所述的系统，其特征在于，其中所述图像示出所述文档或所述白板中的一个，其中所述排序模块对示出所述文档的所述图像执行第一类型的排序处理，并且对示出所述白板的所述图像执行第二类型的排序处理，并且其中所述第一类型的排序处理不同于所述第二类型的排序处理。10.如权利要求9所述的系统，其特征在于，其中所述第一类型的排序处理包括：向所述四边形候选分配相应的分数，其中个体四边形候选的分数至少部分地基于对所述个体四边形候选至少部...

【专利技术属性】
技术研发人员：L·袁，J·刘，J·孙，T·久保，Y·鹈饲，F·d·S·德普纳多雷斯，S·加藤，J·藤原，
申请(专利权)人：微软技术许可有限责任公司，
类型：发明
国别省市：美国,US