图像处理方法及相关装置制造方法及图纸

本申请实施例提供的图像处理方法及相关装置，涉及终端技术领域。方法包括：电子设备在第一界面接收用户输入的文本；电子设备区分显示第一图像文件以及第二图像文件，其中，第一图像文件为待处理图像文件中与文本中关键词匹配的图像文件，第二图像文件为待处理图像文件中与文本中关键词不匹配的图像文件；第一图像文件为电子设备中的第一模型基于文本和待处理图像文件确定的，第一模型是根据图文对样本集进行训练得到；图文对样本集中包括：样本图像与样本图像对应的文本，样本图像中一个或多个对象以及各一个或多个对象对应的文本。这样，能够将用户输入的文案与图像文件对应的文本描述进行更好的匹配，从而实现文案和图像文件的关联。件的关联。件的关联。

【技术实现步骤摘要】
图像处理方法及相关装置


[0001]本申请涉及终端
，尤其涉及图像处理方法及相关装置。

技术介绍

[0002]随着多媒体技术的发展，一些电子设备中可以提供一键成片的功能，一键成片可以将用户选中的图像文件生成不同的风格、颜色或修改效果。
[0003]然而，一键成片不支持用户输入自定义文案，并将图像文件和文案进行关联。

技术实现思路

[0004]本申请实施例提供的图像处理方法及相关装置，可以预先进行图文匹配的模型训练，支持在一键成片的界面中接收用户输入的文案，并将图像文件和文案进行关联。
[0005]第一方面，本申请实施例提供的图像处理方法，方法包括：电子设备在第一界面接收用户输入的文本；电子设备区分显示第一图像文件以及第二图像文件，其中，第一图像文件为待处理图像文件中与文本中关键词匹配的图像文件，第二图像文件为待处理图像文件中与文本中关键词不匹配的图像文件；第一图像文件为电子设备中的第一模型基于文本和待处理图像文件确定的，第一模型是根据图文对样本集进行训练得到；图文对样本集中包括：样本图像与样本图像对应的文本，样本图像中一个或多个对象以及各一个或多个对象对应的文本。这样，电子设备可以支持在界面中接收用户输入的文本，且能够将用户输入的文本与待处理图像文件进行匹配，从而实现文本和图像文件的关联。
[0006]一种可能的实现中，样本图像对应的文本是通过下述方式得到的：识别样本图像中的一个或多个对象；得到一个或多个对象的文本标签；基于一个或多个对象的文本标签，以及样本图像的源文本得到样本图像对应的文本，样本图像的源文本为预先得到的用于描述样本图像的文本，样本图像的源文本中的关键词少于样本图像对应的文本中的关键词。这样，能够使得输入的文本与样本图像对应的文本进行更好的匹配。
[0007]一种可能的实现中，方法还包括：根据目标对象和目标对象的目标文本标签构成的图文对更新第一模型，其中，目标对象和目标文本标签是目标应用中预先得到的，更新后的第一模型具有将目标对象与目标文本标签进行匹配的能力。这样，可以使更新后的第一模型具有将目标对象与目标文本标签进行匹配的能力，从而可以识别用户标记过的图文对。
[0008]一种可能的实现中，第一模型是基于第二模型得到的，第二模型包括基于图文对样本集进行训练得到的模型，方法还包括：获取目标应用中的第三图像文件，第三图像文件包括目标对象；将第三图像文件的相关数据上传给第二模型，第三图像文件的相关数据包括：目标对象的图像、目标文本标签和在第三图像文件中去掉目标对象后得到的图像文件；第二模型基于第三图像文件的相关数据进行训练，得到第三图像文件对应的文本；基于第三图像文件对应的文本更新第一模型，更新后的第一模型具有将第三图像文件与第三图像
文件对应的文本进行匹配的能力。这样，可以使得更新后的第一模型具有将第三图像文件与第三图像文件对应的文本进行匹配的能力。
[0009]一种可能的实现中，目标对象包括人物图像，目标文本标签包括人物称呼。这样，可以识别用户标记过的人物相关的图文对，使得该第一模型可以对图像文件的描述更为详细和准确。
[0010]一种可能的实现中，方法还包括：电子设备响应于用户触发第二图像文件的操作，显示第二界面，第二界面包括：用于提示第二图像文件为待处理图像文件中与文本不匹配的图像文件的信息。这样，显示第二界面可以让用户及时了解到某个图像未与文本进行匹配，用户可以对未匹配的图像进行处理，提升用户体验。
[0011]一种可能的实现中，第二界面还包括用于取消第二图像文件显示的第一按钮；方法还包括：电子设备响应于用户触发第一按钮的操作，显示第三界面，第三界面不显示第二图像文件。这样，由用户确定未匹配的图像文件是否删除，可以更加确定第二图像文件是否为未匹配的图像文件，提升用户体验。
[0012]一种可能的实现中，第二图像文件包括第二目标图像文件，第二界面还包括用户保留第二目标图像文件的第二按钮；方法还包括：电子设备响应于用户触发第二按钮的操作，显示第四界面，第四界面显示第二目标图像文件。这样，由用户确定未匹配的图像文件是否删除，可以更加确定第二图像文件是否为未匹配的图像文件，提升用户体验。
[0013]一种可能的实现中，第一图像文件包括第一目标图像文件，第一目标图像文件与第二目标图像文件在第一方向相邻，文本包括第一关键词和第二关键词，第一关键词和第二关键词在第一方向相邻，第一目标图像文件与第一关键词为匹配的图文对，方法还包括：根据第二目标图像文件和第二关键词更新第一模型，更新后的第一模型学习有第二目标图像文件与第二关键词进行匹配的能力。这样，可以使得更新后的第一模型学习有第二目标图像文件与第二关键词进行匹配的能力。
[0014]一种可能的实现中，根据第二目标图像文件和第二关键词更新第一模型之前，还包括：第一模型生成随机数；根据第二目标图像文件和第二关键词更新第一模型，包括：若随机数大于或等于预设值，根据第二目标图像文件和第二关键词更新第一模型。这样，可以使得第一模型有一定概率在迭代中学习到该第二关键词，从而实现第二目标图像文件和第二关键词的匹配。
[0015]一种可能的实现中，电子设备在第一界面接收用户输入的文本之前，还包括：电子设备显示第五界面，第五界面包括图像文件以及第三按钮，图像文件处于不能被选择的状态；电子设备响应于用户触发第三按钮的操作，显示第六界面，第六界面包括图像文件以及第四按钮，图像文件处于可被选择的状态；电子设备响应于用户在第六界面的图像文件中选择待处理图像文件，以及触发第四按钮的操作，显示第一界面，第一界面包括显示待处理图像文件的区域、文本显示区域、文本输入区域，以及第五按钮；电子设备在第一界面接收用户输入的文本，包括：电子设备在第一界面的文本输入区域接收用户输入的文本；电子设备在第一界面接收用户输入的文本之后，还包括：电子设备在第一界面的文本显示区域显示文本；电子设备区分显示第一图像文件以及第二图像文件，包括：电子设备响应于用户触发第五按钮的操作，电子设备在第七界面中区分显示第一图像文件以及第二图像文件。这样，通过上述各个界面，本申请实施可以支持在一键成片的界面中接收用户输入的文案，并
实现将图像文件和文案的关联。
[0016]一种可能的实现中，第一模型是对第二模型压缩后得到的模型，第二模型包括通过多模态对比学习的方法对图文对样本集进行训练得到的模型。这样，压缩方法可以在维持较高的学习准确率的同时减小模型的大小，节省内存占用空间，此外，经过多模态对比学习方法可以使得第二模型的输出结果接近正确值，从而可以相对准确的匹配图文对。
[0017]第二方面，本申请实施例提供的视频生成的方法，方法包括：电子设备响应于用户的用于指示生成视频文件的操作，采用本申请实施例提供的图像处理方法得到的第一图像文件生成目标视频。这样，使得生成的视频中可以包括匹配的图像与文字，向用户显示更好的视频效果。
[0018]第三方面，本申请实施例提供的视频显示方法，方法包括：电子设备显示第八界面本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像处理方法，其特征在于，所述方法包括：电子设备在第一界面接收用户输入的文本；所述电子设备区分显示第一图像文件以及第二图像文件，其中，所述第一图像文件为待处理图像文件中与所述文本中关键词匹配的图像文件，所述第二图像文件为所述待处理图像文件中与所述文本中关键词不匹配的图像文件；所述第一图像文件为所述电子设备中的第一模型基于所述文本和所述待处理图像文件确定的，所述第一模型是根据图文对样本集进行训练得到；所述图文对样本集中包括：样本图像与所述样本图像对应的文本，所述样本图像中一个或多个对象以及各所述一个或多个对象对应的文本。2.根据权利要求1所述的方法，其特征在于，所述样本图像对应的文本是通过下述方式得到的：识别所述样本图像中的一个或多个对象；得到所述一个或多个对象的文本标签；基于所述一个或多个对象的文本标签，以及所述样本图像的源文本得到所述样本图像对应的文本，所述样本图像的源文本为预先得到的用于描述所述样本图像的文本，所述样本图像的源文本中的关键词少于所述样本图像对应的文本中的关键词。3.根据权利要求1或2所述的方法，其特征在于，所述方法还包括：根据目标对象和所述目标对象的目标文本标签构成的图文对更新所述第一模型，其中，所述目标对象和所述目标文本标签是目标应用中预先得到的，更新后的所述第一模型具有将所述目标对象与所述目标文本标签进行匹配的能力。4.根据权利要求3所述的方法，其特征在于，所述第一模型是基于第二模型得到的，所述第二模型包括基于所述图文对样本集进行训练得到的模型，所述方法还包括：获取所述目标应用中的第三图像文件，所述第三图像文件包括所述目标对象；将所述第三图像文件的相关数据上传给所述第二模型，所述第三图像文件的相关数据包括：所述目标对象的图像、所述目标文本标签和在所述第三图像文件中去掉所述目标对象后得到的图像文件；所述第二模型基于所述第三图像文件的相关数据进行训练，得到所述第三图像文件对应的文本；基于所述第三图像文件对应的文本更新所述第一模型，更新后的所述第一模型具有将所述第三图像文件与所述第三图像文件对应的文本进行匹配的能力。5.根据权利要求3所述的方法，其特征在于，所述目标对象包括人物图像，所述目标文本标签包括人物称呼。6.根据权利要求1或2所述的方法，其特征在于，所述方法还包括：所述电子设备响应于用户触发所述第二图像文件的操作，显示第二界面，所述第二界面包括：用于提示所述第二图像文件为所述待处理图像文件中与所述文本不匹配的图像文件的信息。7.根据权利要求6所述的方法，其特征在于，所述第二界面还包括用于取消所述第二图像文件显示的第一按钮；所述方法还包括：所述电子设备响应于用户触发所述第一按钮的操作，显示第三界面，所述第三界面不显示所述第二图像文件。8.根据权利要求7所述的方法，其特征在于，所述第二图像文件包括第二目标图像文件，所述第二界面还包括用户保留所述第二目标图像文件的第二按钮；所述方法还包括：
所述电子设备响应于用户触发所述第二按钮的操作，显示第四界面，所述第四界面显示所述第二目标图像文件。9.根据权利要求8所述的方法，其特征在于，所述第一图像文件包括第一目标图像文件，所述第一目标图像文件与所述第二目标图像文件在第一方向相邻，所述文本包括第一关键词和第二关键词，所述第一关键词和所述第二关键词在所述第一方向相邻，所述第一目标图像文件与所述第一关键词为匹配的图文对，所述方法还包括：根据所述第二目标图像文件和所述第二关键词更新所述第一模型，更新后的所述第一模型学习有所述第二目标图像文件与所述第二关键词进行匹配的能力。10.根据权利要求9所述的方法，其特征在于，所述根据所述第二目标图像文件和所...

【专利技术属性】
技术研发人员：李宇，蒋雪涵，
申请(专利权)人：荣耀终端有限公司，
类型：发明
国别省市：