视频情感分类方法及装置制造方法及图纸

本发明专利技术公开了一种视频情感分类方法及装置，所述分类方法包括：获得用户观看视频时的脑电图信号的时间序列数据；从获得的时间序列数据中选择分类特征；根据所述分类特征，对所述视频的视频情感进行分类。本发明专利技术通过从脑电图信号的时间序列数据中提取特征，挖掘出更有效的分类特征，从而大大提高视频情感的分类准确率。

Video emotion classification method and device

The present invention discloses a video emotion classification method and device. The classification method includes: obtaining time sequence data of electroencephalogram signal when the user watches video; selecting classification features from the obtained time series data; classifying the video emotion of the video according to the classified features. By extracting features from the time series data of electroencephalogram signals, the invention excavates more effective classification features, thus greatly improving the classification accuracy of video emotion.

【技术实现步骤摘要】
视频情感分类方法及装置
本专利技术涉及情感识别
，特别是涉及一种视频情感分类方法及装置。
技术介绍
视频情感识别是计算机视觉的研究热点，视频情感识别是为了识别视频中包含的积极、消极等情感，按照不同的情感类型将视频进行分类，视频情感识别在视频推荐、视频分类、广告设计等领域有重要的研究价值。现有的视频情感分类方法通过提取脑电图信号的时域和频域特征等传统方法实现分类，由于只能从海量大脑响应数据中提取到数量有限的特征，把大量有效的特征给过滤掉了，难以涵盖所有有分辨能力的特征，分类准确率还有待提高。
技术实现思路
为了克服上述缺陷，本专利技术要解决的技术问题是提供一种视频情感分类方法及装置，用以至少提高现有视频情感分类的准确率。为解决上述技术问题，本专利技术中的一种视频情感分类方法，包括：获得用户观看视频时的脑电图信号的时间序列数据；从获得的时间序列数据中选择分类特征；根据所述分类特征，对所述视频的视频情感进行分类。为解决上述技术问题，本专利技术中的一种视频情感分类装置，包括存储器和处理器；所述存储器存储有视频情感分类计算机程序，所述处理器执行所述计算机程序，以实现如上所述方法的步骤。本专利技术有益效果如下：本专利技术通过从脑电图信号的时间序列数据中提取特征，挖掘出更有效的分类特征，从而大大提高视频情感的分类准确率。附图说明图1是本专利技术实施例中一种视频情感分类方法的流程图；图2是本专利技术实施例中一种视频情感分类装置的结构示意图。具体实施方式为了解决现有技术的问题，本专利技术提供了一种视频情感分类方法及装置，以下结合附图以及实施例，对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本专利技术，并不限定本专利技术。实施例一本专利技术实施例提供一种视频情感分类方法，如图1所示，所述方法包括：S101，获得用户观看视频时的脑电图信号的时间序列数据；S102，从获得的时间序列数据中选择分类特征；S103，根据所述分类特征，对所述视频的视频情感进行分类。本专利技术实施例中视频也可以称为音乐视频。本专利技术实施例中脑电图信号也可以简称为脑电图。作为视频情感识别的一个指标，视频愉悦度被用来评价视频的积极和消极程度，视频愉悦度识别算法研究近年来受到研究者的关注。本专利技术实施例中特征选择是为了从数据中选取能够有效区分不同愉悦度视频的特征，但是目前的数据处理方法得到的脑电图特征分类准确率还有待提高，原因在于现有脑电图时域和频域信号的分类能力有限，数据中隐藏的辨识特征没有得到的挖据，有效特征产生了丢失，其实，脑电图时间序列中包含人类识别视频情感的特征，蕴藏着丰富的情感分类特征，因此，相对于传统的时域和频域特征，本专利技术实施例直接对脑电图信号的时间序列数据进行预处理和特征提取，避免有效分类特征的丢失，从而挖掘出脑电图中包含的更有效的情感分类特征。在上述实施例的基础上，进一步提出上述实施例的变型。在本专利技术实施例中，可选地，所述获得用户观看视频时的脑电图信号的时间序列数据，包括：通过多个脑电图采集通道，采集用户观看多个视频时的脑电图信号的时间序列数据。为了描述简洁，本专利技术实施例中脑电图采集通道可以简称为脑电图通道或通道。本专利技术实施例中用户也可以称为测试者。例如，通过32个通道，采集用户40个视频的脑电图信号。在本专利技术实施例中，可选地，所述通过多个脑电图采集通道，采集用户观看多个视频时的脑电图信号的时间序列数据之后，包括：将采集的时间序列数据中每一列数据的数据范围调整一致，得到各个脑电图采集通道的标准化时间序列数据。在本专利技术实施例中，可选地，所述从获得的时间序列数据中选择分类特征，包括：从各个脑电图采集通道的标准化时间序列数据中选择分类特征。在本专利技术实施例中，可选地，通过最小冗余最大相关度标准mRMR，从各个脑电图采集通道的标准化时间序列数据中选择分类特征。在本专利技术实施例中，可选地，所述根据所述分类特征，对所述视频的视频情感进行分类，包括：根据所述分类特征，标注各个视频的视频愉悦度。在本专利技术实施例中，可选地，所述将采集的时间序列数据中每一列的时间序列数据的范围调整一致，包括：对于每个脑电图采集通道：根据所述视频的数量和预设的列长，确定该脑电图采集通道采集的间序列数据；对于每一列，根据该列对应的间序列数据、该列对应的间序列数据的平均值和该列对应的间序列数据的标准差，确定该列的标准化间序列数据。在本专利技术实施例中，可选地，采用下式确定该列的标准化间序列数据Data′(j)：Data′(j)＝(Data(j)-μ(Data(j)))/σ(Data(j))(1)式中，j表示列数，Data(j)表示脑电图采集通道采集的第j列间序列数据，μ(Data(j))表示Data(j)的平均值，σ(Data(j))表示Data(j)的标准差。在本专利技术实施例中，可选地，所述列长为每个脑电图采集通道在预设时间内采集的数据长度。本专利技术实施例中预设时间采用1分钟(60秒)，列长采用8064。例如，对每个测试者的每个脑电图通道，利用mRMR特征选择算法对每个通道的脑电图信号进行特征选择，然后将每个通道提取的脑电图特征用于该测试者的40个视频的愉悦度分类，得到每个测试者每个脑电图通道数据对40个视频的愉悦度分类准确率，最后计算每个测试者40个通道的平均分类准确率作为该测试者对40个视频的分类准确率。详细地，本专利技术实施例首先针对每个测试者每个脑电图通道所对应的40个视频的数据按列标准化，使得脑电图数据范围一致，利于后续处理；其次，采用mRMR特征选择方法对每个测试者的每个脑电图通道的时间序列数据直接进行特征选择，从而挖掘出时间序列中潜藏的具有较强情感分类能力的特征；最后，针对每个测试者的每个脑电图通道，利用选择得到的特征对40个视频进行视频愉悦度分类，得到40个视频的愉悦度分类准确率，将每个脑电图通道的分类准确率进行平均作为该测试者对40个视频的最后分类准确率。以下以DEAP数据库的脑电图信号为例，说明本专利技术实施例中方法，实现过程包括：(1)标准化过程：输入32个测试者观看40个音乐视频的脑电图信号，对每个测试者的脑电图信号按列进行如下数据标准化处理。对于每个测试者的每个脑电图采集通道，对其观看40视频的脑电图初始信号Data进行标准化，将数据范围调整一致，便于后续特征选择方法进行处理。其中Data＝40×8064，40表示每个测试者观看的40个音乐视频，8064为1分钟内每个通道采集的数据长度，对Data按列进行数据标准化处理，公式如下：Data′(j)＝(Data(j)-μ(Data(j)))/σ(Data(j))(1)(2)脑电图特征选择过程：利用mRMR特征选择方法对每个测试者的每个通道脑电图信号进行特征选择，得到分类准确率高的脑电图特征。对于单个测试者的每个脑电图通道数据，我们分别利用mRMR特征选择方法进行特征选择，选择出每个通道最有区分能力的特征。mRMR特征算法目的是为了选取与分类最相关的特征，同时特征之间的冗余度最小，符合脑电图信号特征提取的需求，mRMR定义了如下两个函数实现最大相关和最小冗余：其中，S表示特征的集合，c表示类别，I(xi；c)表示特征与类别之间的互信息；I(xi,xj)表示特征与特征之间的互信息，互信息的定义如下所示：其中，x，y表示两个随机变量，p(x)、p本文档来自技高网...

【技术保护点】
1.一种视频情感分类方法，其特征在于，所述方法包括：获得用户观看视频时的脑电图信号的时间序列数据；从获得的时间序列数据中选择分类特征；根据所述分类特征，对所述视频的视频情感进行分类。

【技术特征摘要】
1.一种视频情感分类方法，其特征在于，所述方法包括：获得用户观看视频时的脑电图信号的时间序列数据；从获得的时间序列数据中选择分类特征；根据所述分类特征，对所述视频的视频情感进行分类。2.如权利要求1所述的方法，其特征在于，所述获得用户观看视频时的脑电图信号的时间序列数据，包括：通过多个脑电图采集通道，采集用户观看多个视频时的脑电图信号的时间序列数据。3.如权利要求2所述的方法，其特征在于，所述通过多个脑电图采集通道，采集用户观看多个视频时的脑电图信号的时间序列数据之后，包括：将采集的时间序列数据中每一列数据的数据范围调整一致，得到各个脑电图采集通道的标准化时间序列数据。4.如权利要求3所述的方法，其特征在于，所述从获得的时间序列数据中选择分类特征，包括：从各个脑电图采集通道的标准化时间序列数据中选择分类特征。5.如权利要求4所述的方法，其特征在于，通过最小冗余最大相关度标准，从各个脑电图采集通道的标准化时间序列数据中选择分类特征。6.如权利要求4所述的方法，其特征在于，所述根据所述分类特征，对所述视频的视频情感进行分类，包括：根据所述分类特征，标注各个视...

【专利技术属性】
技术研发人员：仝小敏，李鹏，吉祥，吴鸽鹏，
申请(专利权)人：中国电子科技集团公司电子科学研究院，
类型：发明
国别省市：北京,11