数据处理装置和方法制造方法及图纸

本公开涉及数据处理装置和方法。数据处理装置包括：建模单元，其配置成针对包含遮挡物的图像建立遮挡物模型；渲染单元，其配置成根据所述遮挡物和不包含遮挡物的面部图像之间的几何关系对所述遮挡物模型进行渲染，以使得渲染的遮挡物图像与所述不包含遮挡物的面部图像具有相同的尺度和姿态；以及合成单元，其配置成将不包含遮挡物的面部图像与所述渲染的遮挡物图像合成为遮挡的面部图像。本公开的目的在于提供一种面部数据增强的数据处理装置和方法，其通过生成具有遮挡物的面部数据有效地扩大了有关面部训练数据集的数量，从而提高了有关面部相关模块的性能。

【技术实现步骤摘要】
数据处理装置和方法
本公开涉及数据处理的
，具体地涉及面部数据增强的数据处理装置和方法。
技术介绍
这个部分提供了与本公开有关的背景信息，这不一定是现有技术。为了在实际环境中提高面部相关模块(例如检测、对齐、识别等)的性能，有必要根据实际情况收集训练数据集，这意味着对模型针对训练数据的多样性具有较高的需求。对于当前现有的开放数据集，训练数据的多样性通常难以保证，特别是对于局部遮挡的如戴眼镜、面罩等的面部数据集。如果根据应用环境和要求重新收集面部数据，一方面耗时，需要更高的劳动力成本，另一方面需要长时间保持数据集的多样性。因此，迫切需要一种低成本和方便的面部数据增强方案。为了解决上述问题，本公开提出了一种低成本生成面部遮挡数据集的框架，其中，遮挡物包括面罩、眼镜、手、麦克风等常见的面部遮挡类型。
技术实现思路
这个部分提供了本公开的一般概要，而不是其全部范围或其全部特征的全面披露。本公开的目的在于提供一种面部数据增强的数据处理装置和数据处理方法，其通过生成具有遮挡物的面部数据有效地扩大了有关面部训练数据集的数量，从而提高了有关面部相关模块的性能。根据本公开的数据处理装置和方法易于操作，具有较低的计算量和人工成本。根据本公开的一方面，提供了一种数据处理装置，该装置包括：建模单元，其配置成针对包含遮挡物的图像建立遮挡物模型；渲染单元，其配置成根据所述遮挡物和不包含遮挡物的面部图像之间的几何关系对所述遮挡物模型进行渲染，以使得渲染的遮挡物图像与所述不包含遮挡物的面部图像具有相同的尺度和姿态；以及合成单元，其配置成将不包含遮挡物的面部图像与所述渲染的遮挡物图像合成为遮挡的面部图像。根据本公开的另一方面，提供了一种数据处理方法，该方法包括：针对包含遮挡物的图像建立遮挡物模型；根据所述遮挡物和不包含遮挡物的面部图像之间的几何关系对所述遮挡物模型进行渲染，以使得渲染的遮挡物图像与所述不包含遮挡物的面部图像具有相同的尺度和姿态；以及将不包含遮挡物的面部图像与所述渲染的遮挡物图像合成为遮挡的面部图像。根据本公开的另一方面，提供了一种程序产品，该程序产品包括存储在其中的机器可读指令代码，其中，所述指令代码当由计算机读取和执行时，能够使所述计算机执行根据本公开的数据处理方法。根据本公开的另一方面，提供了一种机器可读存储介质，其上携带有根据本公开的程序产品。使用根据本公开的数据处理装置和数据处理方法，其通过生成具有遮挡物的面部数据有效地扩大了有关面部训练数据集的数量，从而提高了有关面部相关模块的性能。根据本公开的数据处理装置和方法易于操作，具有较低的计算量和人工成本。从在此提供的描述中，进一步的适用性区域将会变得明显。这个概要中的描述和特定例子只是为了示意的目的，而不旨在限制本公开的范围。附图说明在此描述的附图只是为了所选实施例的示意的目的而非全部可能的实施，并且不旨在限制本公开的范围。在附图中：图1为根据本公开的实施例的数据处理装置的框图；图2a至图2c示意性示出根据本公开的实施例的遮挡物；图3为根据本公开的另一实施例的数据处理装置的框图；图4示意性示出根据本公开的一个实施例的非刚性遮挡物图像的遮挡物模型；图5为根据本公开的实施例的数据处理方法的流程图；以及图6为其中可以实现根据本公开的实施例的数据处理装置和方法的通用个人计算机的示例性结构的框图。虽然本公开容易经受各种修改和替换形式，但是其特定实施例已作为例子在附图中示出，并且在此详细描述。然而应当理解的是，在此对特定实施例的描述并不打算将本公开限制到公开的具体形式，而是相反地，本公开目的是要覆盖落在本公开的精神和范围之内的所有修改、等效和替换。要注意的是，贯穿几个附图，相应的标号指示相应的部件。具体实施方式现在参考附图来更加充分地描述本公开的例子。以下描述实质上只是示例性的，而不旨在限制本公开、应用或用途。提供了示例实施例，以便本公开将会变得详尽，并且将会向本领域技术人员充分地传达其范围。阐述了众多的特定细节如特定部件、装置和方法的例子，以提供对本公开的实施例的详尽理解。对于本领域技术人员而言将会明显的是，不需要使用特定的细节，示例实施例可以用许多不同的形式来实施，它们都不应当被解释为限制本公开的范围。在某些示例实施例中，没有详细地描述众所周知的过程、众所周知的结构和众所周知的技术。图1示出了根据本公开的一个实施例的数据处理装置100的框图。如图1所示，根据本公开的实施例的数据处理装置100可以包括建模单元101、渲染单元102以及合成单元103。建模单元101可以配置成针对包含遮挡物的图像建立遮挡物模型。接下来，渲染单元102可以配置成根据所述遮挡物和不包含遮挡物的面部图像之间的几何关系对所述遮挡物模型进行渲染，以使得渲染的遮挡物图像与所述不包含遮挡物的面部图像具有相同的尺度和姿态。然后，合成单元103可以配置成将不包含遮挡物的面部图像与所述渲染的遮挡物图像合成为遮挡的面部图像。使用根据本公开的数据处理装置，通过生成具有遮挡物的面部数据有效地扩大了有关面部训练数据集的数量，从而提高了有关面部相关模块的性能。根据本公开的数据处理装置易于操作，具有较低的计算量和人工成本。根据本公开的一个实施例，所述遮挡物可以包括刚性遮挡物和非刚性遮挡物。如图2a至图2c所示，所述非刚性遮挡物可以包括例如口罩、面罩等的其边界可以基于面部轮廓变形的遮挡物。所述刚性遮挡物可以包括例如眼镜、麦克风、手等不基于面部轮廓变形的遮挡物。这里，本领域技术人员应该清楚，所述非刚性遮挡物和所述刚性遮挡物并不限于本公开所示出的示例。根据本公开的一个实施例，数据处理装置可以进一步包括遮挡物定义单元，所述遮挡物定义单元可以定义所述遮挡物的类型。亦即，所述遮挡物定义单元可以定义所述遮挡物是刚性遮挡物还是非刚性遮挡物。<非刚性遮挡物的实施例>根据本公开的一个实施例，为了后续处理的方便，在建模操作之前，可以进行一些预处理操作。图3示出了根据本公开的一个实施例的数据处理装置300的框图。如图3所示，根据本公开的实施例的数据处理装置300可以包括预处理单元310、建模单元101、渲染单元102以及合成单元103。根据本实施例，数据处理装置300可以进一步包括预处理单元310，所述预处理单元310可以配置成对包含非刚性遮挡物的面部图像进行预处理，所述预处理可以包括对所述包含非刚性遮挡物的面部图像进行面部检测和面部特征点检测。根据本公开的一个实施例，可以自动或手动进行所述面部检测和所述面部特征点检测。当自动进行所述面部检测和所述面部特征点检测时，所述面部检测可以包括多任务卷积神经网络(Multi-TaskConvolutionalNeuralNetworks，MTCNN)或归一化的像素差异特征(NormalizedPixelDifference,NPD)等的方法。所述面部特征点检测可以包括可变形的组件模型(DeformablePartsModel,DPM)或基于卷积神经网络(ConvolutionalNeuralNetworks,CNN)等的方法。这里，本领域技术人员应该清楚，所述面部检测和所述面部特征点检测的方法并不限于本公开所列出的示例。本领域技术人员可以采用现有技术中其他可实现类似功能的方法。而本文档来自技高网...

【技术保护点】
1.一种数据处理装置，包括：建模单元，其配置成针对包含遮挡物的图像建立遮挡物模型；渲染单元，其配置成根据所述遮挡物和不包含遮挡物的面部图像之间的几何关系对所述遮挡物模型进行渲染，以使得渲染的遮挡物图像与所述不包含遮挡物的面部图像具有相同的尺度和姿态；以及合成单元，其配置成将不包含遮挡物的面部图像与所述渲染的遮挡物图像合成为遮挡的面部图像。

【技术特征摘要】
1.一种数据处理装置，包括：建模单元，其配置成针对包含遮挡物的图像建立遮挡物模型；渲染单元，其配置成根据所述遮挡物和不包含遮挡物的面部图像之间的几何关系对所述遮挡物模型进行渲染，以使得渲染的遮挡物图像与所述不包含遮挡物的面部图像具有相同的尺度和姿态；以及合成单元，其配置成将不包含遮挡物的面部图像与所述渲染的遮挡物图像合成为遮挡的面部图像。2.根据权利要求1所述的装置，其中，所述遮挡物包括刚性遮挡物和非刚性遮挡物。3.根据权利要求2所述的装置，进一步包括预处理单元，所述预处理单元配置成对包含非刚性遮挡物的面部图像进行第一预处理，所述第一预处理包括对所述包含非刚性遮挡物的面部图像进行面部检测和面部特征点检测。4.根据权利要求3所述的装置，其中，所述第一预处理还包括通过标准面部或平均面部图像对所述非刚性遮挡物中的面部特征点进行优化。5.根据权利要求4所述的装置，其中，所述第一预处理还包括对优化的面部图像进行分割，以获得非刚性遮挡物图像。6.根据权利要求2所述的装置，进一步包括预处理单元，所述预处理单元配置成对不包含遮挡物的面部图像进行第一预处理，所述第一预处理包括面部检测...

【专利技术属性】
技术研发人员：陆萍萍，刘汝杰，
申请(专利权)人：富士通株式会社，
类型：发明
国别省市：日本,JP