目标检测方法及其装置制造方法及图纸

本申请涉及网络直播技术领域中一种目标检测方法及其装置

【技术实现步骤摘要】
目标检测方法及其装置、设备、介质


[0001]本申请涉及网络直播
，尤其涉及一种目标检测方法及其相应的装置
、
计算机设备
、
计算机可读存储介质
。

技术介绍

[0002]在商品导购过程中，主播在直播过程中展示商品，包括商品的外观
、
功能
、
特点
、
优惠信息等，进一步还会介绍商品的价值和推荐理由
。
观众可以通过弹幕
、
评论
、
私信等方式与主播进行实时互动，进一步观众认可和支持主播导购，想要表达出对主播内容和
/
或主播体验相当的满意，可以选择给主播付费购买特效，从而给视频播放中的主播添置该特效，以进一步增加互动和娱乐的乐趣
。
[0003]传统技术中，通常以主播的人脸作为目标检测对象将其从直播视频流中检测出来，然而难以避免地遇到主播在进行商品导购过程中，主播的人脸被商品遮挡以至于人脸无法检测出来，因此，观众给主播的人脸添置的特效也无法实现，导致无法给予观众应用的付费体验，降低用户粘性
。
[0004]鉴于传统技术的不足，本申请人长期从事相关领域的研究，为解决电商领域业内难题，故另辟蹊径
。

技术实现思路

[0005]本申请的首要目的在于解决上述问题至少之一而提供一种目标检测方法及其相应的装置
、
计算机设备
、
计算机可读存储介质
。
[0006]为满足本申请的各个目的，本申请采用如下技术方案：
[0007]适应本申请的目的之一而提供的一种目标检测方法，包括如下步骤：
[0008]响应辅助信息添置请求，获取直播视频流中待显示的目标图像帧；
[0009]采用预设的目标检测模型中的图像特征提取网络提取出目标图像帧中的初步图像特征，经由多尺度特征网络对初步图像特征进行多尺度融合，得到各个尺度对应的特征图，获取最大尺度输出的特征图作为目标特征图；
[0010]经由所述目标检测模型中的两路检测分支分别根据所述目标特征图，对应确定出所述目标图像帧中的目标检测对象，以及目标检测对象在所述目标图像帧中的位置信息；
[0011]根据所述目标检测对象的位置信息和所述请求指定的相对位置信息，在所述目标图像帧中添置所述请求所指定的辅助信息
。
[0012]另一方面，适应本申请的目的之一而提供的一种目标检测装置，包括请求响应模块
、
目标特征模块
、
目标对象模块以及信息添置模块，其中，请求响应模块，用于响应辅助信息添置请求，获取直播视频流中待显示的目标图像帧；目标特征模块，用于采用预设的目标检测模型中的图像特征提取网络提取出目标图像帧中的初步图像特征，经由多尺度特征网络对初步图像特征进行多尺度融合，得到各个尺度对应的特征图，获取最大尺度输出的特征图作为目标特征图；目标对象模块，用于经由所述目标检测模型中的两路检测分支分别
根据所述目标特征图，对应确定出所述目标图像帧中的目标检测对象，以及目标检测对象在所述目标图像帧中的位置信息；信息添置模块，用于根据所述目标检测对象的位置信息和所述请求指定的相对位置信息，在所述目标图像帧中添置所述请求所指定的辅助信息
。
[0013]又一方面，适应本申请的目的之一而提供的一种计算机设备，包括中央处理器和存储器，所述中央处理器用于调用运行存储于所述存储器中的计算机程序以执行本申请所述的目标检测方法的步骤
。
[0014]又一方面，适应本申请的另一目的而提供的一种计算机可读存储介质，其以计算机可读指令的形式存储有依据所述的目标检测方法所实现的计算机程序，该计算机程序被计算机调用运行时，执行该方法所包括的步骤
。
[0015]本申请的技术方案存在多方面优势，包括但不限于如下各方面：
[0016]本申请通过响应辅助信息添置请求，获取直播视频流中待显示的目标图像帧
。
采用预设的目标检测模型中的图像特征提取网络提取出目标图像帧中的初步图像特征，经由多尺度特征网络对初步图像特征进行多尺度融合，得到各个尺度对应的特征图，获取最大尺度输出的特征图作为目标特征图，之后，经由两路检测分支分别根据目标特征图，对应确定出目标图像帧中的目标检测对象及其在目标图像帧中的位置信息
。
根据目标检测对象的位置信息和请求指定的相对位置信息，在目标图像帧中添置所述请求所指定的辅助信息
。
一方面，目标检测模型确定出的目标特征图的尺寸较大即感受野较大，可以捕捉更广泛的上下文语义信息，确保对显示面积较小的检测对象的检测能力，并且目标特征图进一步融合了各个尺度的特征图，即融合高分辨率的浅层特征与高语义信息的深层特征，从而确保精准地检测出各种大小的显示面积的检测对象
。
另一方面，能够实时响应辅助信息添置请求，基于精准的目标检测为直播视频流中的目标图像帧添置相应的辅助信息，保障用户体验，增加用户粘性
。
附图说明
[0017]本申请上述的和
/
或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
[0018]图1为本申请的目标检测方法的典型实施例的流程示意图；
[0019]图2为本申请的目标检测模型的网络结构示意图；
[0020]图3为本申请的实施例中确定出目标检测对象及其位置信息的流程示意图；
[0021]图4为本申请的实施例中确定出目标检测对象的流程示意图；
[0022]图5为本申请的一种实施例中目标检测模型的训练过程的流程示意图；
[0023]图6为本申请的另一种实施例中目标检测模型的训练过程的流程示意图；
[0024]图7为本申请的实施例中构造出第一训练集的流程示意图；
[0025]图8为本申请的实施例中构造出第二训练集的流程示意图；
[0026]图9为本申请的目标检测装置的原理框图；
[0027]图
10
为本申请所采用的一种计算机设备的结构示意图
。
具体实施方式
[0028]下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终
相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件
。
下面通过参考附图描述的实施例是示例性的，仅用于解释本申请，而不能解释为对本申请的限制
。
[0029]本
技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式
。
应该进一步理解的是，本申请的说明书中使用的措辞“包括”是指存在所述特征
、
整数
、
步骤
、
操作
、
元件和
/
或组件，但是并不排除存在或添本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种目标检测方法，其特征在于，包括如下步骤：响应辅助信息添置请求，获取直播视频流中待显示的目标图像帧；采用预设的目标检测模型中的图像特征提取网络提取出目标图像帧中的初步图像特征，经由多尺度特征网络对初步图像特征进行多尺度融合，得到各个尺度对应的特征图，获取最大尺度输出的特征图作为目标特征图；经由所述目标检测模型中的两路检测分支分别根据所述目标特征图，对应确定出所述目标图像帧中的目标检测对象，以及目标检测对象在所述目标图像帧中的位置信息；根据所述目标检测对象的位置信息和所述请求指定的相对位置信息，在所述目标图像帧中添置所述请求所指定的辅助信息
。2.
根据权利要求1所述的目标检测方法，其特征在于，经由所述目标检测模型中的两路检测分支分别根据所述目标特征图，对应确定出所述目标图像帧中的目标检测对象，以及目标检测对象在所述目标图像帧中的位置信息，包括如下步骤：经由所述目标检测模型中的第一路检测分支根据所述目标特征图，确定出多个候选框对应的类别信息；经由所述目标检测模型中的第二路检测分支根据所述目标特征图，确定出多个候选框对应的位置信息；采用软非极大值抑制算法或矩阵非极大值抑制算法从所述多个候选框中确定出目标对象框，根据目标对象框及其类别信息确定出所述目标图像帧中的目标检测对象，以相应目标对象框的位置信息作为目标检测对象在目标图像帧中的位置信息
。3.
根据权利要求2所述的目标检测方法，其特征在于，根据目标对象框及其类别信息确定出所述目标图像帧中的目标检测对象，包括如下步骤：根据所述辅助信息添置请求确定出目标检测对象的目标类别；确定出类别信息与所述目标类别相匹配的目标对象框，以其在所述目标图像帧中框选的图像内容作为目标检测对象
。4.
根据权利要求1所述的目标检测方法，其特征在于，响应辅助信息添置请求之前，包括如下步骤：获取预备的第一训练集中的单个训练样本及其监督标签，所述训练样本包括单个图像，所述监督标签表征所述图像中的所有目标对象框及其所属的目标类别，以及每个目标对象框对应在所述图像中的位置信息，所述目标对象框用于框出单个检测对象，所述检测对象包括所述图像中的人脸和预先指定商品；采用目标检测模型中的图像特征提取网络提取出所述训练样本中的初步图像特征，经由多尺度特征网络对初步图像特征进行多尺度融合，得到各个尺度对应的特征图，获取最大尺度输出的特征图作为目标特征图；经由所述目标检测模型中的两路检测分支分别根据所述目标特征图，对应预测出所述训练样本中的所有预测对象框及其所属的预测类别，以及预测对象框在所述训练样本中的预测位置信息，所述预测对象框用于框出预测检测对象；根据所述训练样本的监督评分计算所述所有预测类别和所述预测位置信息对应的损失值，在所述所有预测类别和所述预测位置信息对应的损失值未达到分别的预设阈值时，对所述目标检测模型实施权重更新，并继续调用其他训练样本实施迭代训练
。
5.
根据权利要求1所述的目标检测方法，其特征在于，响应辅助信息添置请求之前，包括如下步骤：获取预备的第二训练集，其中包含多个训练子集，各个训练子集包含等同多个训练样本及其监督标签，所述训练样本包括单个图像，所述监督标签表征所述图像中的所有目标对象框及其所属的目标类别，以及每个目标对象框对应在所述图像中的位置信息，所述目标对象框用于框出单个检测对象，所述检测对象包括所述图像中的人脸和预先指定商品；依次采用每个所述训练子集作为当前训练集迭代训练目标检测模...

【专利技术属性】
技术研发人员：张凌云，
申请(专利权)人：广州商研网络科技有限公司，
类型：发明
国别省市：