机器视觉处理系统技术方案

本发明专利技术涉及机器视觉处理系统。各技术和各构造可从数字图像中确定反照率图和带有阴影的图。可至少部分基于色差阈值来确定反照率和带有阴影的图。可至少部分基于反照率图来确定颜色带有阴影的图，并能基于颜色带有阴影的图来确定照明系数。数字图像可至少部分基于照明系数来被调整。在一些示例中，可产生对于数字图像的各个颜色通道的相应的带有阴影的图。颜色带有阴影的图可至少部分基于带有阴影的图来被产生。在一些示例中，数字图像的多个区域可被确定，并且各个区域之间的邻近度关系可被确定。反照率带有阴影的图可至少部分基于邻近度关系来被确定。

【技术实现步骤摘要】

本申请涉及视觉处理系统，尤其涉及机器视觉处理系统。
技术介绍
机器视觉技术被用于各种各样的用户。现实世界对象通常是非平面的。因此，现实世界对象的图像或其他捕捉的或机器生成的图像通常包括产生于对象的颜色或装饰的内容(在此称为对象的“反照率(albedo)”)以及产生于对象的照明的内容(在此称为对象的“阴影”)。对象的几何形状使得阴影跨对象的表面变化。因此，反照率内容和阴影内容通常被组合在图像中。这样的组合可减少机器视觉算法(诸如对象定位、朝向检测或人脸检测)的准确性。
技术实现思路
本申请描述了用于从数字图像中确定反照率和阴影信息(在此称为“分解”数字图像)的系统、方法和计算机可读介质。在一些示例中，计算系统可使用色差阈值从数字图像中产生反照率图和带有阴影的图。计算系统可通过以下来产生经修正的数字图像：使用反照率图和数字图像来确定颜色带有阴影的图，基于颜色带有阴影的图来确定照明系数以及基于照明系数来调整数字图像。根据在此描述的示例技术，计算系统可使用经修正的数字图像来产生经修正的反照率图以及经修正的带有阴影的图。在一些示例中，计算系统可为数字图像的各个颜色通道产生相应的反照率图和相应的带有阴影的图。计算系统还可接着基于相应的每通道带有阴影的图来产生颜色带有阴影的图。在一些示例中，计算系统可确定数字图像的诸区域。计算系统可接着确定诸区域中的各个区域之间的一个或多个邻近度关系并使用邻近度关系来确定反照率和带有阴影的图。根据本文中的各个示例，邻近度关系中的一个可对应于具有比色差阈值更接近的颜色的相邻区域之间的反照率差。根据本文中的各个示例，邻近度关系中的一个可对应于各相邻区域之间的阴影差。提供
技术实现思路
以便以简化形式介绍将在以下详细描述中进一步描述的一些概念的选集。本
技术实现思路
不旨在标识所要求保护的主题的关键或必要特征，也不旨在用于帮助确定所要求保护的主题的范围。例如术语“技术”可指代上述上下文和通篇文档中所准许的系统、方法、计算机可读指令、模块、算法、硬件逻辑和/或操作。附图简述参考附图来描述详细描述。在附图中，附图标记中最左边的数字标识该附图标记首次出现的附图。在不同的附图中使用相同的附图标记指示类似或相同的项。图1是描绘了用于实现在此描述的图像分解的示例环境的框图。图2是描绘了根据在此描述的各示例被配置成参与图像分解的示例计算设备的框图。图3是描绘了在图像分解期间的示例模块交互的数据流图。图4是描绘了在图像分解的细化期间的示例模块交互的数据流图。图5是示出了用于分解数字图像的示例过程的流程图。图6是示出了用于分解数字图像的示例过程的流程图。图7显示被渲染的数字图像的图形表示。图8显示了对应于图7中表示的数字图像的示例反照率图像的图形表示。图9显示了对应于图7中表示的数字图像的示例带有阴影的图像的图形表示。详细描述概览在此描述的各示例提供用于确定图像的反照率和阴影分量的技术和构造。这种分离能允许各个机器视觉算法以提升的速度、提升的精确性、降低的计算时间或减低的存储器要求来操作。这种分离还能允许执行附加的技术，诸如重新照明、在虚拟环境中渲染或三维(3-D)打印。例如，在重新照明中，对象的图像被用于确定对象的反照率。接着生成显示在不同于对象的图像中的照明条件的照明条件(不同的阴影)下的对象的图像。重新照明和使用分开的反照率和阴影信息的其他技术还可被用于在虚拟环境中准确地渲染对象。将反照率和阴影分离还能允许在使用对象的反照率而不使用阴影的情况下渲染对象的图像或对对象进行3-D打印或以其他方式建模。各种各样的示例允许确定要与3-D扫描仪组合的反照率信息来产生对象的虚拟模型以及其表面外观。如在此使用的，反照率信息和阴影信息被单独地或统一地称为“本征图像”或“图”。从输入图像中确定反照率信息和阴影信息被称为“图像分解”。如在此使用的，“反照率”和“阴影”不要求整个3-D对象的反照率或阴影被确定。确定对象在任何图像或对象的图像集中可见的(各)部分的反照率或阴影是足够的。术语“本征图像”不要求反照率信息或阴影信息以图像的形式被确定或呈现；其他表示可被使用，诸如基本上恒定的反照率的各区域的边界多边形。术语“机器视觉”不要求使用相机、机器人或其他特定的机器视觉硬件，虽然本文中的技术可与这样的硬件结合使用。本文描述的一些示例提供相比于传统的本征图像算法而言改进的性能。使用区域而非像素来作为分析的基本单元的一些示例减少了确定本征图像所要求的存储器空间的量和计算时间。一些示例有利地将二维图像分隔成反照率和阴影信息，二维图像是例如具有跨两个空间维度范围的光学信息但不具有深度信息的图像。一些示例可有利地确定被多个灯或被彩色灯(即，在照明场景时不是基本上白色的灯)照明的场景的阴影信息。灯在任意正的辐射强度处可以是彩色的。根据一些示例的用于图像分解的一些示例、场景和技术的示例在以下对附图的描述中被更加详细地呈现。说明性环境图1显示了图像分解系统可在其中操作的或诸如以下描述的图像分解方法可在其中被执行的示例环境100。在示出的示例中，环境100的各个设备和/或组件包括被描绘为服务器组件的计算设备102和被描绘为相机的图像源104。图像源104可包括一个或多个计算设备或其他被配置成提供数字图像106的系统。在示出的示例中，图像源104提供场景108的数字图像。场景108包括由光源112照明的对象110，在这个示例中为球体。对象110具有反照率114，在这个示例中被描绘为纬度和经度线的网格。由于光源112关于从其数字图像106被捕捉的视点的角度，因此在这个示例中，对象110在数字图像106中的图像数据包括包含阴影116的区域。在其他示例中，虽然光源112可不被包括在场景108中，但是来自光源112的影响可在场景108中可见。在此的各个方面确定反照率图118和带有阴影的图120，被描绘为图像但不限于图像。反照率图118在这个示例中包括形成反照率114的线但不包括阴影116，并且带有阴影的图120在这个示例中包括阴影116但不包括反照率114。在一些示例中，计算设备102确定反照率图118和带有阴影的图120。对于对象110、数字图像106、反照率114、阴影116、反照率图118和带有阴影的图120的具体描绘并非限制。在一些示例中，反照率图118包括颜色图像，并且带有阴影的图120包括灰度图像或所选颜色通道的强度图像，如以下描述的。计算设备102和图像源104可包括各种各样的设备类别、分类或类型，例如，台式计算机、膝上型计算机、平板计算机、数字相机或蜂窝电话，并且不被限制为特定类型的设备。例如，计算设备102可以是计算群集(未显示)中的计算节点，例如，诸如MICROSOFTAZURE的云服务或其他分布式计算资源。云计算允许将计算资源作为服务而非可递送产品来提供。例如，在云计算环境中，在网络(诸如因特网)上(例如通过租赁协定)提供计算能力、软件、信息和/或网络连接性。计算设备102和图像源104的示例组件在以下列出。在一些示例中，图像源104被具体化在计算设备102中或连接到计算设备102。例如，图像源104和计算设备102可被具体化在智能电话、平板、MICROSOFTSURFACE或被配置成捕捉图像并本文档来自技高网...

【技术保护点】
一种系统，包括：其上具有多个模块的介质；以及操作地耦合到所述计算机可读介质并被配置成执行所述多个模块中的各模块的处理单元，所述多个模块包括：映射模块，所述映射模块被配置成至少部分基于数字图像以及一个或多个色差阈值来产生反照率图和带有阴影的图；以及细化模块，配置成：至少部分基于所述反照率图和所述数字图像来确定颜色带有阴影的图；至少部分基于所述颜色带有阴影的图来确定多个照明系数；以及通过至少部分基于所述照明系数调整所述数字图像来产生经修正的数字图像。

【技术特征摘要】
1.一种系统，包括：其上具有多个模块的介质；以及操作地耦合到所述计算机可读介质并被配置成执行所述多个模块中的各模块的处理单元，所述多个模块包括：映射模块，所述映射模块被配置成至少部分基于数字图像以及一个或多个色差阈值来产生反照率图和带有阴影的图；以及细化模块，配置成：至少部分基于所述反照率图和所述数字图像来确定颜色带有阴影的图；至少部分基于所述颜色带有阴影的图来确定多个照明系数；以及通过至少部分基于所述照明系数调整所述数字图像来产生经修正的数字图像。2.如权利要求1所述的系统，其特征在于：所述多个模块进一步包括分割模块，所述分割模块被配置成至少部分基于数字图像的各像素的颜色值来确定标识所述数字图像的多个区域以及所述多个区域的相应颜色值的区域图；以及所述映射模块还被配置成至少部分基于所述区域图来产生所述反照率图和所述带有阴影的图。3.如权利要求1或2任一所述的系统，其特征在于，所述细化模块被配置成：至少部分基于所述反照率图来确定被减少颜色的反照率图；以及至少部分基于所述数字图像的未被包括在所述被减少颜色的反照率图中的内容来确定所述颜色带有阴影的图。4.如权利要求3所述的系统，其特征在于，所述细化模块被配置成通过在所选的色彩空间中聚类反照率图的值来确定被减少颜色的反照率图。5.一种设备，包括：其上具有多个模块的计算机可读介质；以及操作地耦合到所述计算机可读介质并被配置成执行所述多个模块中的各模块的处理单元，所述多个模块包括：通道映射模块，所述通道映射模块被配置成至少部分基于数字图像以及一个或多个色差阈值来为所述数字图像的各个颜色通道产生相应的反照率图和相应的带有阴影的图；以及细化模块，配置成：至少部分基于所述相应的...

【专利技术属性】
技术研发人员：董悦，童欣，梁林，石剑，S·S·林，S·斯塔趣涅克，
申请(专利权)人：微软技术许可有限责任公司，
类型：发明
国别省市：美国;US