用于生成数字场景的方法、系统、制品和装置制造方法及图纸

公开了用于生成数字场景的方法、系统、制品和装置。用于生成标记的模型的示例装置包括：地图构建器，其用于生成输入图像的三维(3D)模型；分组分类器，其用于识别与第一类型的分组分类相对应的3D模型的第一区域；人类模型构建器，其用于生成对应于第一区域的一定量的占位符人类模型；坐标引擎，其用于将一定量的占位符人类模型指派给第一区域的相应的坐标位置，相应的坐标位置是基于第一类型的分组分类来指派的；模型特性修改器，其用于将与方面类型相关联的特性指派给一定量的占位符人类模型中的相应的模型；以及注释管理器，其用于关联所指派的特性，作为针对一定量的占位符人类模型中的相应的模型的标签数据。

【技术实现步骤摘要】
【国外来华专利技术】用于生成数字场景的方法、系统、制品和装置相关申请本专利申请要求于2018年3月30日提交的序列号为62/650,722的美国临时专利申请的优先权。序列号为62/650,722的美国临时专利申请特此通过引用将其全部内容并入本文中。特此要求序列号为62/650,722的美国临时专利申请的优先权。
本公开总体上涉及网络训练，并且更特别地，涉及用于生成数字场景的方法、系统、制品和装置。
技术介绍
近年来，神经网络已经被用于辅助对场景的分析。在一些示例中，神经网络辅助对新兴模式(例如，与人群行为相关的模式)的识别和/或分类。附图说明图1是示例数字场景生成器的示意性图示，该数字场景生成器用于生成具有标记的人类模型的数字场景。图2是由图1的示例数字场景生成器分析的示例区域地图的示意性图示。图3-7是表示机器可读指令的流程图，这些指令可以被执行以实现用于生成具有标记的人类模型的数字场景的图1的示例数字场景生成器。图8是被构造为执行图3-7的指令以实现图1的示例数字场景生成器的示例处理平台的框图。附图未按比例。一般而言，相同的附图标记将贯穿附图和随附的书面描述中使用，以指代相同的或类似的部件。当标识可以被单独地引用的多个元素或组件时，在本文中使用了描述符“第一”、“第二”、“第三”等。除非基于它们的使用的上下文以其他方式指定或理解，否则这些描述符并不旨在赋予优先级或时间顺序的任何含义，而仅仅作为为了便于理解所公开的示例而单独地指代多个元素或组件的标签。在一些示例中，描述符“第一”可以用于指代详细描述中的元素，而相同的元素可以以不同的描述符(例如，“第二”或“第三”)在权利要求中被引用。在这样的实例中，应当理解的是，这样的描述符仅仅用于便于引用多个元素或组件。具体实施方式人群估计具有广泛的应用，这些应用包括计算机视觉应用、机器人应用和安全监视应用。计算机视觉技术和深度学习技术已经实现了大规模人群估计，但是这样的技术的进步已经受到缺乏高质量、带注释的(标记的(labelled))且公开可用的数据集的阻碍。与人群计数、人群分割和人群跟踪相关的任务可以利用卷积神经网络(CNN)技术来协助，但是这样的技术需要大量标记的数据来很好地执行。尽管许多公开放置的摄像机获得具有大量人的场景的图像(例如，高分辨率图像)，但是这样的图像需要冗长的标记任务来辅助一个或多个机器学习任务(例如，涉及CNN技术的任务)。另外，即使在那些公开可用的场景内的人被标记，一些隐私法律也会阻止发布供私人和/或公共使用的真实片段。例如，鉴于通用数据保护条例(GDPR)立法(根据该立法，需要来自其个人信息在图像中被捕获的个人的发布表格)，从监视摄像机(例如，闭路电视(CCTV))中捕获的人群视频很少被发布以供公众使用。如果人群数据是可用的(针对该人群数据所有隐私条例被满足并且冗长的标记工作已经发生)，则这种人群数据通常限于特定的场景。换言之，在其上对人群执行机器学习分析的各种场景并不容易获得，因此人群研究管理者的灵活性有限。此外，人群标记工作通常由不同的人类团队来执行。通常，基于人类的标记工作会遭受偏差、不准确和疲劳。此外，多个不同的人类注释者会导致标记的数据内的不一致性，这可能会导致基本事实信赖问题。本文所公开的示例部分出于加速人群理解技术和机器学习工作的目的而生成逼真的可缩放标记合成人群和/或包括人群的合成图像。在一些示例中，人类模型是在场景重建环境上生成的。人类模型被定制以满足设计要求(例如，性别的数量和类型、步行、跑步、面部朝向、服装类型等)并且对应的标记特性被保留和/或以其他方式与每个人类模型相关联，而没有人类注释者参与。在一些示例中，场景重建环境是利用由空中无人机调查捕获的片段来创建的，并且然后将人群与原始图像合成以生成逼真的数据。图1是示例数字场景生成器102的示意性图示，该数字场景生成器用于实现生成具有标记的人类模型的数字场景。在图1的所示示例中，数字场景生成器102包括示例地图构建器104、示例人类模型构建器106以及示例坐标引擎108。图1的示例坐标引擎108包括示例区域选择器110和示例分组分类器112。示例数字场景生成器102还包括示例模型方面管理器114，其包括示例元数据管理器116和示例模型特性修改器118。示例数字场景生成器102还包括示例照相现实主义(photorealism)调节器126，其包括示例图像数据确定器128、示例轮廓调节器130、示例阴影调节器132、示例景深调节器134和示例噪声调节器136。示例数字场景生成器102还包括示例注释管理器138和示例转换引擎140。在这个示例中，地图构建器104实现了用于地图构建的单元。用于地图构建的单元可以附加地或者可替代地通过地图构建单元来实现。在这个示例中，人类模型构建器106实现了用于人类模型构建的单元。用于人类模型构建的单元可以附加地或可替代地通过人类模型构建单元来实现。在这个示例中，坐标引擎108实现了用于坐标指派的单元。用于坐标指派的单元可以附加地或可替代地通过坐标指派单元来实现。在这个示例中，区域选择器110实现了用于区域选择的单元。用于区域选择的单元可以附加地或可替代地通过区域选择单元来实现。在这个示例中，分组分类器112实现了用于分组的单元。用于分组的单元可以附加地或可替代地通过分组单元来实现。在这个示例中，模型方面管理器114实现了用于方面修改的单元。用于方面修改的单元可以附加地或可替代地通过方面修改单元来实现。在这个示例中，元数据管理器116实现了用于管理元数据的单元。用于管理元数据的单元可以附加地或可替代地通过元数据管理单元来实现。在这个示例中，模型特性修改器118实现了用于模型特性修改的单元。用于模型特性修改的单元可以附加地或可替代地通过模型特性修改单元来实现。在这个示例中，照相现实主义调节器126实现了用于照相现实主义调节的单元。用于照相现实主义调节的单元可以附加地或可替代地通过照相现实主义调节单元来实现。在这个示例中，图像数据确定器128实现了用于图像数据确定的单元。用于图像数据确定的单元可以附加地或可替代地通过图像数据确定单元来实现。在这个示例中，轮廓调节器130实现了用于轮廓调节的单元。用于轮廓调节的单元可以附加地或可替代地通过轮廓调节单元来实现。在这个示例中，阴影调节器132实现了用于阴影调节的单元。用于阴影调节的单元可以附加地或可替代地通过阴影调节单元来实现。在这个示例中，景深调节器134实现了用于景深调节的单元。用于景深调节的单元可以附加地或可替代地通过景深调节单元来实现。在这个示例中，噪声调节器136实现了用于噪声调节的单元。用于噪声调节的单元可以附加地或可替代地通过噪声调节单元来实现。在这个示例中，注释管理器138实现了用于注释的单元。用于注释的单元可以附加地或可替代地通过注释单元来实现。在这个示例中，转换引擎140实现了用于转换的单元。用于转换的单元可以附加地或可替代地通过转换单元来实现。在操作中，示例地图构建器104根据输入图像来生成模型。示例输本文档来自技高网...

【技术保护点】
1.一种用于生成标记的模型的装置，所述装置包括：/n地图构建器，其用于生成输入图像的三维(3D)模型；/n分组分类器，其用于识别与第一类型的分组分类相对应的所述3D模型的第一区域；/n人类模型构建器，其用于生成与所述第一区域相对应的一定量的占位符人类模型；/n坐标引擎，其用于将所述一定量的占位符人类模型指派给所述第一区域的相应的坐标位置，所述相应的坐标位置是基于所述第一类型的分组分类来指派的；/n模型特性修改器，其用于将与方面类型相关联的特性指派给所述一定量的占位符人类模型中的相应的模型；以及/n注释管理器，其用于关联所指派的特性，作为针对所述一定量的占位符人类模型中的相应的模型的标签数据。/n

【技术特征摘要】
【国外来华专利技术】20180330 US 62/650,7221.一种用于生成标记的模型的装置，所述装置包括：
地图构建器，其用于生成输入图像的三维(3D)模型；
分组分类器，其用于识别与第一类型的分组分类相对应的所述3D模型的第一区域；
人类模型构建器，其用于生成与所述第一区域相对应的一定量的占位符人类模型；
坐标引擎，其用于将所述一定量的占位符人类模型指派给所述第一区域的相应的坐标位置，所述相应的坐标位置是基于所述第一类型的分组分类来指派的；
模型特性修改器，其用于将与方面类型相关联的特性指派给所述一定量的占位符人类模型中的相应的模型；以及
注释管理器，其用于关联所指派的特性，作为针对所述一定量的占位符人类模型中的相应的模型的标签数据。


2.根据权利要求1所述的装置，其中，所述地图构建器用于生成坐标点的地理定位的点云，作为所述输入图像的所述3D模型。


3.根据权利要求1所述的装置，其中，所述分组分类器用于基于所述第一区域的颜色来解释所述3D模型的绘制区域，所述颜色指示所述第一类型的分组分类。


4.根据权利要求1所述的装置，其中，所述第一类型的分组分类与所述第一区域中的所述一定量的占位符人类模型中的相应的模型之间的第一阈值距离相对应。


5.根据权利要求4所述的装置，其中，所述分组分类器用于识别与第二类型的分组分类相对应的所述3D模型的第二区域，所述第二类型的分组分类与所述第二区域中的第二数量的占位符人类模型中的相应的模型之间的第二阈值距离相对应。


6.根据权利要求1所述的装置，其中，所述坐标引擎用于以缺乏所述与方面类型相关联的特性的方式指派所述一定量的占位符人类模型。


7.根据权利要求1所述的装置，其中，所述坐标引擎用于基于所述第一类型的分组分类来将方向朝向指派给所述占位符人类模型中的所述相应的模型。


8.一种非暂时性计算机可读介质，包括计算机可读指令，所述指令当被执行时，使得至少一个处理器：
生成输入图像的三维(3D)模型；
识别与第一类型的分组分类相对应的所述3D模型的第一区域；
生成与所述第一区域相对应的一定量的占位符人类模型；
将所述一定量的占位符人类模型指派给所述第一区域的相应的坐标位置，所述相应的坐标位置是基于所述第一类型的分组分类来指派的；
将与方面类型相关联的特性指派给所述一定量的占位符人类模型中的相应的模型；以及
关联所指派的特性，作为针对所述一定量的占位符人类模型中的相应的模型的标签数据。


9.根据权利要求8所述的计算机可读介质，其中，所述指令当被执行时，使得所述至少一个处理器生成坐标点的地理定位的点云，作为所述输入图像的所述3D模型。


10.根据权利要求8所述的计算机可读介质，其中，所述指令当被执行时，使得所述至少一个处理器基于所述第一区域的颜色来解释所述3D模型的绘制区域，所述颜色指示所述第一类型的分组分类。


11.根据权利要求8所述的计算机可读介质，其中，所述指令当被执行时，使得所述至少一个处理器基于所述第一类型的分组分类来指派所述第一区域中的所述一定量的占位符人类模型中的相应的模型之间的第一阈值距离。


12.根据权利要求11所述的计算机可读介质，其中，所述指令当被执行时，使得所述至少一个处理器识别与第二类型的分组分类相对应的所述3D模型的第二区域，所述第二类型的分组分类与所述第二区域中的第二数量的占位符人类模型中的相应的模型之间的第二阈值距离相对应。


13.根据权利要求8所述的计算机可读介质，其中，所述指令当被执行时，使得所述至少一个处理器以缺乏所述与方面类型相关联的特性的方式指派所述一定量的占位符人类模型。


14.根据权利要求8所述的计算机可读介质，其中，所述指令当被执行时，使得所述至少一个处理器基于所述第一类型...

【专利技术属性】
技术研发人员：K·李，A·什马托夫，J·贝尔纳，D·莫洛尼，
申请(专利权)人：莫维迪乌斯有限公司，
类型：发明
国别省市：荷兰;NL