图像的处理方法、装置和计算机可读存储介质制造方法及图纸

本公开涉及一种图像的处理方法、装置和计算机可读存储介质，涉及人工智能技术领域。该方法包括：将待处理图像划分为多个目标区域，每个目标区域中包含一个从待处理图像中检测到的目标；根据获取的各目标区域的特征向量，确定不同的目标区域之间的行为关系；根据获取的各目标区域的位置信息，确定不同的目标区域之间的空间关系；根据特征向量、行为关系和空间关系，确定待处理图像的描述文本。本公开的技术方案能够提高图像描述的准确性。

【技术实现步骤摘要】
图像的处理方法、装置和计算机可读存储介质
本公开涉及人工智能
，特别涉及一种图像的处理方法、图像的装置和计算机可读存储介质。
技术介绍
目前，人工智能技术已经能够较准确地识别图像中的物体。但是，想要生动、准确地描绘图像内容，不仅需要敏感捕捉图像中物体，还要洞悉各物体间的联系。因此，探索物体间联系从而对图像进行完整描述一直是业界的难点。在相关技术中，通过学习视觉模型进行图像理解，能够用完整的自然语言对图像进行描述。例如，采用CNN(ConvolutionalNeuralNetwork，卷积神经网络)和RNN(RecurrentNeuralNetwork，循环神经网络)获取图像的语言描述。
技术实现思路
本公开的专利技术人发现上述相关技术中存在如下问题：无法充分挖掘物体之间的关系，导致对图像描述的准确性低。鉴于此，本公开提出了一种图像的处理技术方案，能够提高图像描述的准确性。根据本公开的一些实施例，提供了一种图像的处理方法，包括：将待处理图像划分为多个目标区域，每个所述目标区域中包含一个从所述待处理图像中检测到的目标；根据获取的各所述目标区域的特征向量，确定不同的所述目标区域之间的行为本文档来自技高网...

【技术保护点】
1.一种图像的处理方法，包括：将待处理图像划分为多个目标区域，每个所述目标区域中包含一个从所述待处理图像中检测到的目标；根据获取的各所述目标区域的特征向量，确定不同的所述目标区域之间的行为关系；根据获取的各所述目标区域的位置信息，确定不同的所述目标区域之间的空间关系；根据所述特征向量、所述行为关系和所述空间关系，确定所述待处理图像的描述文本。

【技术特征摘要】
1.一种图像的处理方法，包括：将待处理图像划分为多个目标区域，每个所述目标区域中包含一个从所述待处理图像中检测到的目标；根据获取的各所述目标区域的特征向量，确定不同的所述目标区域之间的行为关系；根据获取的各所述目标区域的位置信息，确定不同的所述目标区域之间的空间关系；根据所述特征向量、所述行为关系和所述空间关系，确定所述待处理图像的描述文本。2.根据权利要求1所述的处理方法，其中，所述确定所述待处理图像的描述文本包括：针对所述多个目标区域中的任意两个第一目标区域和第二目标区域，将所述第一目标区域的特征向量、所述第二目标区域的特征向量和所述第一目标区域与所述第二目标区域的行为关系输入第一机器学习模型，确定所述第一目标区域的第一描述向量；将所述第一目标区域的特征向量、所述第二目标区域的特征向量和所述第一目标区域与所述第二目标区域的空间关系输入所述第一机器学习模型，确定所述第一目标区域的第二描述向量；将各所述目标区域的所述第一描述向量和所述第二描述向量输入第二机器学习模型，确定所述待处理图像的描述文本。3.根据权利要求2所述的处理方法，其中，所述行为关系为所述第一目标区域中的第一目标向所述第二目标区域中的第二目标发出的动作，或者是所述第一目标和所述第二目标之间的相互动作，所述行为关系的方向由所述第一目标区域指向所述第二目标区域。4.根据权利要求2所述的处理方法，其中，所述空间关系为所述第一目标区域相对于所述第二目标区域的位置，所述空间关系的方向由所述第一目标区域指向所述第二目标区域。5.根据权利要求2所述的处理方法，其中，所述确定所述待处理图像的描述文本包括：根据各所述目标区域的第一描述向量，确定各候选词的第一候选概率；根据各所述目标区域的第二描述向量，确定所述各候选词的第二候选概率；根据所述第一候选概率和所述第二候选概率的加权和，确定所述各候选词的综合候选概率；根据所述各候选词的综合候选概率，确定所述描述文本。6.根据权利要求3所述的处理方法，其中，所述确定所述第一目标区域的第一描述向量包括：根据所述行为关系的方向确定第一转移矩阵；根据所述行为关系的类型确定第一偏移向量；将所述第二目标的特征向量、所述第一转移矩阵和所述第一偏移向量带入激活函数，确定所述第一描述向量。7.根据权利要求6所述的处理方法，其中，所述确定所述第一目标区域的第一描述向量包括：根据所述第二目标的特征向量、所述第一转移矩阵和所述第一偏移向量，确定所述行为关系的权重因子，所述行为关系的权重因子与所述行为关系的重要程度正相关；将所述行为关系的权重因子带入所述激活函数，确定所述第一描述向量。8.根据权利要求4所述的处理方法，其中，所述确定所述第一目标区域的第二描述向量包括：根据所述空间关系的方向确定第二转移矩阵；根据所述空间关系的类型确定第二偏移向量；将所述第二目标的特征向量、所述第二转移矩阵和所述第二偏移向量带入激活函数，确定所述第二描述向量。9.根据权利要求8所述的处理方法，其中，所述确定所述第一目标区域的第二描述向量包括：根据所述第二目标的特征向量、所述第二转移矩阵和所述第二偏移向量，确定所述空间关系的权重因子，所述空间关系的权重因子与所述空间关系的重要程度正相关；将所述空间关系的权重因子带入所述激活函数，确定所述第二描述向量。10.根据权利要求5所述的处理方法，其中，所述确定各候选词的第一候选概率包括：根据各所述目标区域的第一描述向量和所有所述第一描述向量的均值，确定各所述目标区域对于所述各候选词的第一关注因子；根据所述第一关注因子确定所述各候选词的第一候选概率；其中，所述确定各候选词的第二候选概率包括：根据各所述目标区域的第二描述向量和所有所述第二描述向量的均值，确定各所述目标区域对于所述各候选词的第二关注因子；根据所述第二关注因子确定所述各候选词的第二候选概率。11.根据权利要求1-10任一项所述的处理方法，其中，所述确定不同的所述目标区域之间的行为关系包括：获取所述待处理图像中的联合区域，所述联合区域包含第一目标区域和第二目标区域；获取所述联合区域的特征向量，作为联合特征向量；根据所述联合特征向量、所述第一目标区域的特征向量和所述第二目标区域的特征向量，确定所述第一目标区域和所述第二目标区域的行为关系。12.根据权利要求1-10任一项所述的处理方法，其中，所述确定不同的所述目标区域之间的行为关系包括：所述行为关系包括无行为类型和多种有行为类型；根据所述特征向量，确定所述无行为类型和所述多种有行为类型相应的分类概率；在所述无行为类型的分类概率大于等于阈值的情况下，确定所述行为关系为所述无行为类型；在所述无行为类型的分类概率小于所述阈值的情况下，将所述分类概率最大的有行为类型确定为所述行为关系。13.根据权利要求1-10任一项所述的处理方法，其中，所述位置信息包括所述不同的目标区域之间的交并比、相对距离和相对角度。14.一种图像的处理装置，包括：区域划分单元...

【专利技术属性】
技术研发人员：潘滢炜，姚霆，梅涛，
申请(专利权)人：北京京东尚科信息技术有限公司，北京京东世纪贸易有限公司，
类型：发明
国别省市：北京,11