一种媒体内容植入方法、模型训练方法以及相关装置制造方法及图纸

本申请公开了一种媒体内容植入方法、模型训练方法以及相关装置，通过获取目标视频以及第一媒体内容；然后将目标视频的视频帧输入第一模型进行角点跟踪，以得到多个目标角点；并根据目标角点确定目标区域；进而将第一媒体内容植入目标区域。从而实现了媒体内容的自动植入，由于可以通过第一模型输出基于角点或图像特征获得的目标区域，保证了植入过程的准确性，且全过程无需人工手动替换，提高了媒体内容植入的效率。

The invention relates to a media content embedding method, a model training method and a related device

【技术实现步骤摘要】
一种媒体内容植入方法、模型训练方法以及相关装置
本申请涉及计算机
，尤其涉及一种媒体内容植入方法、模型训练方法以及相关装置。
技术介绍
随着互联网技术的发展，越来越多的媒体内容需要进行曝光，其中，视频接入(Video-In)是一种软性的植入广告形式。相对于传统广告，它具有触达率高、合作风险小和节约预算等优势。通过Video-In技术，广告主可以根据媒体内容的受欢迎程度，在相关界面或内容中的后期植入广告，减少广告投入的风险。一般，可以通过视频在拍摄时确定广告内容、预留镜头或者将广告板放置于拍摄场景中，即预先设定插入点即时间，然后通过人工后期逐帧替换广告素材。但是，在大量媒体内容曝光的场景中，为保证相关广告位的曝光率，并不会将相关的视频进行预先的裁剪，预先植入的方式适用范围有限，且预先植入的方法需要人工逐帧替换，会影响媒体内容植入的效率以及准确性，且植入过程的灵活性较低。
技术实现思路
有鉴于此，本申请提供一种媒体内容植入的方法，可以有效避免由于人工逐帧替换而带来的低植入效率以及不稳定性，提高媒体内容植入过程的效率以及准确性。本申请一方面提供一种媒体内容植入的方法，可以应用于计算机设备中包含媒体内容植入功能的系统或程序中，具体包括：获取目标视频以及第一媒体内容，所述目标视频包括多个视频帧；将所述视频帧输入第一模型进行角点跟踪，以得到多个目标角点，其中，所述第一模型包括角点分支和图像分支，所述角点分支用于指示所述视频帧中的候选角点，所述图像分支用于从所述候选角点中提取所述目标角点；根据所述目标角点确定目标区域，所述目标区域包含于所述目标视频指示的区域中；将所述第一媒体内容植入所述目标区域。可选的，在本申请一些可能的实现方式中，所述将所述视频帧输入第一模型进行角点跟踪，以得到多个目标角点，包括：将所述视频帧输入第一模型，以通过所述角点分支提取所述视频帧中的所述候选角点；将所述候选角点通过所述图像分支映射到所述视频帧中，以得到候选区域；从所述候选角点中确定满足预设条件的多个所述目标角点，所述预设条件基于所述候选区域与预设区域的对应关系确定，所述预设区域用于指示在所述视频帧中标记的植入区域。可选的，在本申请一些可能的实现方式中，所述方法还包括：将所述第一媒体内容输入第二模型，以得到仿色信息，所述仿色信息包括色调参数、纹理参数或质地参数，所述第二模型基于多个分辨率下的所述第一媒体内容和所述目标视频的显示参数训练所得；根据所述仿色信息对所述第一媒体内容进行更新。可选的，在本申请一些可能的实现方式中，所述方法还包括：获取所述目标角点的坐标信息；根据所述坐标信息确定透视变换矩阵；将所述透视变换矩阵和所述第一媒体内容输入透视变换公式，以得到第二媒体内容；所述将所述第一媒体内容植入所述目标区域，包括：基于所述目标区域植入所述第二媒体内容。可选的，在本申请一些可能的实现方式中，所述根据所述目标角点确定目标区域，包括：根据所述目标角点确定边界信息；对所述边界信息对应的边界线进行抗锯齿处理，以确定为所述目标区域。可选的，在本申请一些可能的实现方式中，所述目标视频为视频播放界面，所述方法还包括：获取目标植入点，所述目标植入点用于指示作为植入点的视频帧；所述将所述第一媒体内容植入所述目标区域，包括：根据所述目标植入点确定对应的视频帧目标区域；基于所述视频帧目标区域植入所述第一媒体内容。可选的，在本申请一些可能的实现方式中，所述媒体内容为广告，所述目标区域为广告位，所述第一模型为用于目标跟踪的网络模型，所述第二模型为图像识别卷积网络模型。本申请一方面提供一种媒体内容植入的装置，包括：获取单元，用于获取目标视频以及第一媒体内容，所述目标视频包括多个视频帧；跟踪单元，用于将所述视频帧输入第一模型进行角点跟踪，以得到多个目标角点，其中，所述第一模型包括角点分支和图像分支，所述角点分支用于指示所述视频帧中的候选角点，所述图像分支用于从所述候选角点中提取所述目标角点；确定单元，用于根据所述目标角点确定目标区域，所述目标区域包含于所述目标视频指示的区域中；植入单元，用于将所述第一媒体内容植入所述目标区域。可选的，在本申请一些可能的实现方式中，所述确定单元，具体用于将所述视频帧输入第一模型，以通过所述角点分支提取所述视频帧中的所述候选角点；所述确定单元，具体用于将所述候选角点通过所述图像分支映射到所述视频帧中，以得到候选区域；所述确定单元，具体用于从所述候选角点中确定满足预设条件的多个所述目标角点，所述预设条件基于所述候选区域与预设区域的对应关系确定，所述预设区域用于指示在所述视频帧中标记的植入区域。可选的，在本申请一些可能的实现方式中，所述确定单元，还用于将所述第一媒体内容输入第二模型，以得到仿色信息，所述仿色信息包括色调参数、纹理参数或质地参数，所述第二模型基于多个分辨率下的所述第一媒体内容和所述目标视频的显示参数训练所得；所述植入单元，还用于根据所述仿色信息对所述第一媒体内容进行更新。可选的，在本申请一些可能的实现方式中，所述获取单元，还用于获取所述目标角点的坐标信息；所述确定单元，还用于根据所述坐标信息确定透视变换矩阵；所述确定单元，还用于将所述透视变换矩阵和所述第一媒体内容输入透视变换公式，以得到第二媒体内容；所述确定单元，还用于基于所述目标区域植入所述第二媒体内容。可选的，在本申请一些可能的实现方式中，所述确定单元，具体用于根据所述目标角点确定边界信息；所述确定单元，具体用于对所述边界信息对应的边界线进行抗锯齿处理，以确定为所述目标区域。可选的，在本申请一些可能的实现方式中，所述目标视频为视频播放界面，所述获取单元，还用于获取目标植入点，所述目标植入点用于指示作为植入点的视频帧；所述植入单元，具体用于根据所述目标植入点确定对应的视频帧目标区域；所述植入单元，具体用于基于所述视频帧目标区域植入所述第一媒体内容。本申请一方面提供一种模型训练方法，包括：获取至少一个模板图片和至少一个检测图片，所述模板图片与目标视频指示的图片相关，所述检测图片与目标区域指示的图片相关；提取所述模板图片的角点特征以及所述检测图片的图像特征；将所述角点特征以及所述图像特征输入预设模型进行训练，以得到第一模型。可选的，在本申请一些可能的实现方式中，所述将所述角点特征以及所述图像特征输入预设模型进行训练，以得到第一模型，包括：将所述角点特征输入残差网络模型，以得到角点分支；将所述图像特征输入特征提取网络模型，以得到图像分支；根据所述角点分支和所述图像分支对所述预设模型进行训练，以得到第一模型。可选的，在本申请一些可能的实现方式中，所述根据所述角点分支和所述图像分支对所本文档来自技高网...

【技术保护点】
1.一种媒体内容植入的方法，其特征在于，包括：/n获取目标视频以及第一媒体内容，所述目标视频包括多个视频帧；/n将所述多个视频帧输入第一模型进行角点跟踪，以得到多个目标角点，其中，所述第一模型包括角点分支和图像分支，所述角点分支用于指示所述视频帧中的候选角点，所述图像分支用于从所述候选角点中提取所述目标角点；/n根据所述目标角点确定目标区域，所述目标区域包含于所述目标视频指示的区域中；/n将所述第一媒体内容植入所述目标区域。/n

【技术特征摘要】
1.一种媒体内容植入的方法，其特征在于，包括：
获取目标视频以及第一媒体内容，所述目标视频包括多个视频帧；
将所述多个视频帧输入第一模型进行角点跟踪，以得到多个目标角点，其中，所述第一模型包括角点分支和图像分支，所述角点分支用于指示所述视频帧中的候选角点，所述图像分支用于从所述候选角点中提取所述目标角点；
根据所述目标角点确定目标区域，所述目标区域包含于所述目标视频指示的区域中；
将所述第一媒体内容植入所述目标区域。


2.根据权利要求1所述的方法，其特征在于，所述将所述视频帧输入第一模型进行角点跟踪，以得到多个目标角点，包括：
将所述视频帧输入第一模型，以通过所述角点分支提取所述视频帧中的所述候选角点；
将所述候选角点通过所述图像分支映射到所述视频帧中，以得到候选区域；
从所述候选角点中确定满足预设条件的多个所述目标角点，所述预设条件基于所述候选区域与预设区域的对应关系确定，所述预设区域用于指示在所述视频帧中标记的植入区域。


3.根据权利要求1所述的方法，其特征在于，所述方法还包括：
将所述第一媒体内容输入第二模型，以得到仿色信息，所述仿色信息包括色调参数、纹理参数或质地参数，所述第二模型基于多个分辨率下的所述第一媒体内容和所述目标视频的显示参数训练所得；
根据所述仿色信息对所述第一媒体内容进行更新。


4.根据权利要求1所述的方法，其特征在于，所述方法还包括：
获取所述目标角点的坐标信息；
根据所述坐标信息确定透视变换矩阵；
将所述透视变换矩阵和所述第一媒体内容输入透视变换公式，以得到第二媒体内容；
所述将所述第一媒体内容植入所述目标区域，包括：
基于所述目标区域植入所述第二媒体内容。


5.根据权利要求1所述的方法，其特征在于，所述根据所述目标角点确定目标区域，包括：
根据所述目标角点确定边界信息；
对所述边界信息对应的边界线进行抗锯齿处理，以确定为所述目标区域。


6.根据权利要求1-5任一项所述的方法，其特征在于，所述方法还包括：
获取目标植入点，所述目标植入点用于指示作为植入点的视频帧；
所述将所述第一媒体内容植入所述目标区域，包括：
根据所述目标植入点确定对应的视频帧目标区域；
基于所述视频帧目标区域植入所述第一媒体内容。


7.根据权利要求1所述的方法，其特征在于，所述媒体内容为广告，所述目标区域为广告位，所述第一模型为用于目标跟踪的网络模型，所述第二模型为图像识别卷积网络模型。


8.一种模型训练的方法，其特征在于，包括：
获取至少一个模板图片和至少一个检测图片，所述模板图片与目标视频指示的图片相关，所述检测图片与目标区域指示的图片相关；
提取所述模板图片的角点特征以及所述检测图片的图像特征...

【专利技术属性】
技术研发人员：余自强，罗雪，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：广东;44