一种视频中同款商品检索方法及装置制造方法及图纸

本发明专利技术实施例公开了一种视频中同款商品检索方法及装置，包括：获得检索图像，所述检索图像中包含检索商品；提取所述检索商品的第一图像全局特征和第一图像局部特征；针对所述目标视频的每一视频帧包含的每一商品，获得商品的第二图像全局特征和第二图像局部特征；并计算所述第一图像全局特征和所述第二图像全局特征的第一匹配距离，以及所述第一图像局部特征和所述第二图像局部特征的第二匹配距离；将所述第一匹配距离和所述第二匹配距离进行融合，得到融合距离；将最小的第一预设数量个融合距离对应的视频帧，确定为包含所述检索商品的同款商品的视频帧。应用本发明专利技术实施例，能够提高视频中同款商品检索的准确性。

【技术实现步骤摘要】

本专利技术涉及数据检索
，特别涉及一种视频中同款商品检索方法及装置。
技术介绍
如今，在线视频在消费娱乐领域已渐显霸主之势，用户沉浸其中体验电视剧、综艺、电影等带来的各种情景体验，对他们而言，视频场景具有带入感，可以激发他们的购物欲望，对广告主来说，这是营销的绝佳机会。视频与电商无缝结合，实现视频内所见即所卖，将逐渐成为一种新的营销模式。而在视频中实现同款商品的检索，以帮助商品广告精准的投放，是这一新型营销模式的关键所在。目前，同款商品检索方法主要有：基于图像全局特征的检索方法和基于图像局部特征的检索方法。其中，基于图像全局特征的检索方法如基于CNN(Convolutional Neural Network，卷积神经网络)的方法，利用CNN网络提取的图像全局特征来进行图像的匹配检索，其中，利用CNN网络提取的图像全局特征，通常简称为CNN特征；基于图像局部特征的检索方法如SIFT(Scale-invariant feature transform，尺度不变特征变换)方法，通过侦测与描述图像中的局部性特征，即SIFT特征来进行图像的检索匹配，该方法对于图像的模糊、旋转、平移和尺度变换具有很强的鲁棒性。但是，在针对视频中同款商品进行检索时，如果仅考虑图像全局特征而忽略图像局部特征，或仅考虑图像局部特征而忽略图像全局特征，即单一应用上述的基于图像全局特征的检索方法或基于图像局部特征的检索方法，都会影响检索结果，导致检索准确性低。
技术实现思路
本专利技术实施例的目的在于提供一种视频中同款商品检索方法及装置，以提高检索的准确性。为达到上述目的，本专利技术实施例公开了一种视频中同款商品检索方法，所述方法包括：获得检索图像，所述检索图像中包含检索商品；提取所述检索商品的第一图像全局特征和第一图像局部特征；针对所述目标视频的每一视频帧包含的每一商品，获得商品的第二图像全局特征和第二图像局部特征；并计算所述第一图像全局特征和所述第二图像全局特征的第一匹配距离，以及所述第一图像局部特征和所述第二图像局部特征的第二匹配距离；将所述第一匹配距离和所述第二匹配距离进行融合，得到融合距离；将最小的第一预设数量个融合距离对应的视频帧，确定为包含所述检索商品的同款商品的视频帧。优选地，所述目标视频的视频帧为所述目标视频的视频关键帧。优选地，所述第一图像全局特征和所述第二图像全局特征为卷积神经网络特征；所述第一图像局部特征和所述第二图像局部特征为RootSIFT特征。优选地，所述针对所述目标视频的每一视频帧包含的每一商品，获得商品的第二图像全局特征和第二图像局部特征，包括：针对所述目标视频的每一视频帧包含的每一商品，从视频帧中提取商品的第二图像全局特征和第二图像局部特征；或，针对所述目标视频的每一视频帧包含的每一商品，从数据库中获得商品的第二图像全局特征和第二图像局部特征，其中，所述数据库中存储有预先从视频帧中提取的商品的第二图像全局特征和第二图像局部特征。优选地，在所述获得商品的第二图像全局特征和第二图像局部特征之前，所述方法还包括：确定所述检索商品所属的种类；获得所述目标视频的每一视频帧包含的每一商品所属的种类；将所述目标视频的每一视频帧包含的商品中、商品所属的种类与所述检索商品所属的种类相同的商品，确定为待匹配商品；所述针对所述目标视频的每一视频帧包含的每一商品，获得商品的第二图像全局特征和第二图像局部特征，包括：针对所述目标视频包含的待匹配商品，获得所述待匹配商品的第二图像全局特征和第二图像局部特征。优选地，所述第一匹配距离和所述第二匹配距离进行融合的融合公式为：dfusion＝wCNNdCNN+wSIFTdSIFT，其中，dfusion是融合距离，dCNN是所述第一匹配距离，dSIFT是所述第二匹配距离，wCNN、wSIFT分别是所述第一匹配距离和所述第二匹配距离的融合权重。优选地，所述方法还包括：分别计算所述检索图像与所确定的视频帧中每一视频帧的颜色直方图的第三匹配距离；将最小的第二预设数量个第三匹配距离对应的视频帧，确定为最终包含所述检索商品的同款商品的视频帧。为达到上述目的，本专利技术实施例公开了一种视频中同款商品检索装置，所述装置包括：第一获得模块，用于获得检索图像，所述检索图像中包含检索商品；提取模块，用于提取所述检索商品的第一图像全局特征和第一图像局部特征；第二获得模块，针对所述目标视频的每一视频帧包含的每一商品，用于获得商品的第二图像全局特征和第二图像局部特征；第一计算模块，针对所述目标视频的每一视频帧包含的每一商品，用于计算所述第一图像全局特征和所述第二图像全局特征的第一匹配距离，以及所述第一图像局部特征和所述第二图像局部特征的第二匹配距离；融合模块，用于将所述第一匹配距离和所述第二匹配距离进行融合，得到
融合距离；第一确定模块，用于将最小的第一预设数量个融合距离对应的视频帧，确定为包含所述检索商品的同款商品的视频帧。优选地，所述目标视频的视频帧为所述目标视频的视频关键帧。优选地，所述第一图像全局特征和所述第二图像全局特征为卷积神经网络特征；所述第一图像局部特征和所述第二图像局部特征为RootSIFT特征。优选地，所述第二获得模块，具体用于：针对所述目标视频的每一视频帧包含的每一商品，从视频帧中提取商品的第二图像全局特征和第二图像局部特征；或，针对所述目标视频的每一视频帧包含的每一商品，从数据库中获得商品的第二图像全局特征和第二图像局部特征，其中，所述数据库中存储有预先从视频帧中提取的商品的第二图像全局特征和第二图像局部特征。优选地，所述装置还包括：第二确定模块，用于确定所述检索商品所属的种类；第三获得模块，用于获得所述目标视频的每一视频帧包含的每一商品所属的种类；第三确定模块，用于将所述目标视频的每一视频帧包含的商品中、商品所属的种类与所述检索商品所属的种类相同的商品，确定为待匹配商品；所述第二获得模块，具体用于：针对所述目标视频包含的待匹配商品，获得所述待匹配商品的第二图像全局特征和第二图像局部特征。所述第一计算模块，具体用于：针对所述目标视频包含的待匹配商品，计算所述第一图像全局特征和所述第二图像全局特征的第一匹配距离，以及所述第一图像局部特征和所述第二图像局部特征的第二匹配距离。优选地，所述第一匹配距离和所述第二匹配距离进行融合的融合公式为：dfusion＝wCNNdCNN+wSIFTdSIFT，其中，dfusion是融合距离，dCNN是所述第一匹配距离，dSIFT是所述第二匹配距离，wCNN、wSIFT分别是所述第一匹配距离和所述第二匹配距离的融合权重。优选地，所述装置还包括：第二计算模块，用于分别计算所述检索图像与所确定的视频帧中每一视频帧的颜色直方图的第三匹配距离；第四确定模块，用于将最小的第二预设数量个第三匹配距离对应的视频帧，确定为最终包含所述检索商品的同款商品的视频帧。应用本专利技术实施例所提供的技术方案，先将检索图像中包含的检索商品和视频帧中包含的每一商品的图像全局特征及图像局部特征进行匹配，获得图像全局特征匹配距离和图像局部特征匹配距离；然后对二者进行融合，得到融合距离；再根据融合距离的大小，将多个最小的融合距离对应的视频帧，确定为包含检索商品的同款商品的视频帧。在进行视频同本文档来自技高网...

【技术保护点】
一种视频中同款商品检索方法，其特征在于，所述方法包括：获得检索图像，所述检索图像中包含检索商品；提取所述检索商品的第一图像全局特征和第一图像局部特征；针对所述目标视频的每一视频帧包含的每一商品，获得商品的第二图像全局特征和第二图像局部特征；并计算所述第一图像全局特征和所述第二图像全局特征的第一匹配距离，以及所述第一图像局部特征和所述第二图像局部特征的第二匹配距离；将所述第一匹配距离和所述第二匹配距离进行融合，得到融合距离；将最小的第一预设数量个融合距离对应的视频帧，确定为包含所述检索商品的同款商品的视频帧。

【技术特征摘要】
1.一种视频中同款商品检索方法，其特征在于，所述方法包括：获得检索图像，所述检索图像中包含检索商品；提取所述检索商品的第一图像全局特征和第一图像局部特征；针对所述目标视频的每一视频帧包含的每一商品，获得商品的第二图像全局特征和第二图像局部特征；并计算所述第一图像全局特征和所述第二图像全局特征的第一匹配距离，以及所述第一图像局部特征和所述第二图像局部特征的第二匹配距离；将所述第一匹配距离和所述第二匹配距离进行融合，得到融合距离；将最小的第一预设数量个融合距离对应的视频帧，确定为包含所述检索商品的同款商品的视频帧。2.根据权利要求1所述的方法，其特征在于，所述目标视频的视频帧为所述目标视频的视频关键帧。3.根据权利要求1所述的方法，其特征在于，所述第一图像全局特征和所述第二图像全局特征为卷积神经网络特征；所述第一图像局部特征和所述第二图像局部特征为RootSIFT特征。4.根据权利要求1所述的方法，其特征在于，所述针对所述目标视频的每一视频帧包含的每一商品，获得商品的第二图像全局特征和第二图像局部特征，包括：针对所述目标视频的每一视频帧包含的每一商品，从视频帧中提取商品的第二图像全局特征和第二图像局部特征；或，针对所述目标视频的每一视频帧包含的每一商品，从数据库中获得商品的第二图像全局特征和第二图像局部特征，其中，所述数据库中存储有预先从视频帧中提取的商品的第二图像全局特征和第二图像局部特征。5.根据权利要求1所述的方法，其特征在于，在所述获得商品的第二图像
\t全局特征和第二图像局部特征之前，所述方法还包括：确定所述检索商品所属的种类；获得所述目标视频的每一视频帧包含的每一商品所属的种类；将所述目标视频的每一视频帧包含的商品中、商品所属的种类与所述检索商品所属的种类相同的商品，确定为待匹配商品；所述针对所述目标视频的每一视频帧包含的每一商品，获得商品的第二图像全局特征和第二图像局部特征，包括：针对所述目标视频包含的待匹配商品，获得所述待匹配商品的第二图像全局特征和第二图像局部特征。6.根据权利要求1所述的方法，其特征在于，所述第一匹配距离和所述第二匹配距离进行融合的融合公式为：dfusion＝wCNNdCNN+wSIFTdSIFT，其中，dfusion是融合距离，dCNN是所述第一匹配距离，dSIFT是所述第二匹配距离，wCNN、wSIFT分别是所述第一匹配距离和所述第二匹配距离的融合权重。7.根据权利要求1所述的方法，其特征在于，所述方法还包括：分别计算所述检索图像与所确定的视频帧中每一视频帧的颜色直方图的第三匹配距离；将最小的第二预设数量个第三匹配距离对应的视频帧，确定为最终包含所述检索商品的同款商品的视频帧。8.一种视频中同款商品检索装置，其特征在于，所述装置包括：第一获得模块，用于获得检索图像，所述检索图像中包含检索商...

【专利技术属性】
技术研发人员：朱宏吉，兰细鹏，李甫，
申请(专利权)人：北京奇艺世纪科技有限公司，
类型：发明
国别省市：北京;11