基于多模融合的半监督场景分类识别方法、系统及装置制造方法及图纸

本发明专利技术提供了一种基于多模融合的半监督场景分类识别方法、系统及装置，该方法包括数据预处理、基于特征融合的动、静态场景二分类、基于特征融合的静态场景识别以及基于特征融合的半监督动态场景识别，本发明专利技术解决了现有技术在实际环境应用时，基于单模的加速度传感器或无线信号数据在精确的场景识别中分类效果不佳、普适性不足的问题，以及对于某些场景采集大量标定数据成本较高的问题，本发明专利技术的技术方案充分融合Wi‑Fi、蓝牙、传感器三类数据的互补优势，显著减少了标定工作量，同时使得模型较单独利用标定数据而言识别率有了明显提升。

【技术实现步骤摘要】
基于多模融合的半监督场景分类识别方法、系统及装置
本专利技术属于场景分类识别方法
，尤其涉及一种基于多模融合的半监督场景分类识别方法，同时，本专利技术还提供一种基于多模融合的半监督场景分类识别系统，同时，本专利技术还提供一种基于多模融合的半监督场景分类识别装置。
技术介绍
近年来，随着Wi-Fi、蓝牙等无线网络技术的发展以及移动终端的小型化和普及化，场景识别逐渐成为研究热点。场景识别的主要内容是感知移动设备所在的场景，进而对用户提供自适应的内容、个性化的动态服务，现有的场景识别方法主要分为如下几类：①利用环境中无线信号(如低功耗蓝牙、Wi-Fi、GPS等)单模方法进行场景分类识别。②利用用户动作信息(如运动传感器数据)的单模方法进行场景分类识别。③基于场景特点信息的场景分类识别。在利用环境无线信号进行场景识别领域，YiqiangChen等在[SurroundingcontextandepisodeawarenessusingdynamicBluetoothdata]一文中利用环境中动态的蓝牙信号，通过提取手机所处环境中蓝牙的数量、静态蓝牙的比例等特征，进而识别用户所在场景，取得本文档来自技高网...

【技术保护点】
1.一种基于多模融合的半监督场景分类识别方法，其特征在于，包括：数据预处理：从环境中采集智能设备的相应信号源，将采集的信号源分别进行异常数据处理和缺失数据处理后提取特征并作为第一输入；基于特征融合的动、静态场景二分类：根据所述第一输入中基于特征融合的相应信号源，判定当前场景为静态场景或动态场景；以及基于特征融合的静态场景识别以及基于特征融合的半监督动态场景识别：若判定当前场景为静态场景，则进行特征融合，然后通过监督学习进行静态场景识别；若判定当前场景为动态场景，则进行特征融合，然后通过半监督学习进行模型训练并进行动态场景识别。

【技术特征摘要】
1.一种基于多模融合的半监督场景分类识别方法，其特征在于，包括：数据预处理：从环境中采集智能设备的相应信号源，将采集的信号源分别进行异常数据处理和缺失数据处理后提取特征并作为第一输入；基于特征融合的动、静态场景二分类：根据所述第一输入中基于特征融合的相应信号源，判定当前场景为静态场景或动态场景；以及基于特征融合的静态场景识别以及基于特征融合的半监督动态场景识别：若判定当前场景为静态场景，则进行特征融合，然后通过监督学习进行静态场景识别；若判定当前场景为动态场景，则进行特征融合，然后通过半监督学习进行模型训练并进行动态场景识别。2.根据权利要求1所述的一种基于多模融合的半监督场景分类识别方法，其特征在于，所述相应的信号源包括Wi-Fi、蓝牙、传感器。3.根据权利要求1所述的一种基于多模融合的半监督场景分类识别方法，其特征在于，所述进行特征融合，然后通过监督学习进行静态场景识别包括：将采集到的多个所述信号源的特征进行特征融合，通过监督学习进行静态场景识别；所述多个信号源的特征包括以下特征：Wi-Fi信号特征、蓝牙设备的信号特征、传感器特征。4.根据权利要求1所述的一种基于多模融合的半监督场景分类识别方法，其特征在于，所述通过半监督学习进行模型训练并进行动态场景识别包括：通过半监督极速学习机，基于多个所述信号源的特征，对动态场景模型进行模型训练并进行动态场景识别；所述多个信号源的特征包括以下特征：Wi-Fi信号特征、光照强度特征、传感器特征。5.根据权利要求1所述的一种基于多模融合的半监督场景分类识别方法，其特征在于，所述根据第一输入中基于特征融合的相应的信号源特征判定当前场景为静态场景或动态场景包括：采用二分类机器学习方法，根据第一输入中基于特征融合的信号源特征，进行模型训练和场景识别，可得出所述场景为动态场景或者为静态场景。6.根据权利要求2所述的一种基于多模融合的半监督场景分类识别方法，其特征在于，所述异常数据处理包括假定同一环境对信号源的影响近似为高斯分布，然后通过高斯滤波的方法过滤掉异常的数据包。7.根据权利要求6所述的一种基于多模融合的半监督场景分类识别方法，其特征在于，所述假定同一环境对信号源的影响近似为高斯分布，然后通过高斯滤波的方法过滤掉异常的数据包括：若采集的Wi-Fi的信号强度服从高斯分布，则通过高斯滤波的方法过滤掉异常的Wi-Fi数据；若采集的蓝牙的信号强度服从高斯分布，则通过高斯滤波的方法过滤掉异常的蓝牙数据；若采集的传感器的原始信号数据服从高斯分布，则通过高斯滤波的方法过滤掉异常的加速度传感器数据。8.根据权利要求6所述的一种基于多模融合的半监督场景分类识别方法，其特征在于，所述通过高斯滤波的方法过滤掉异常的数据包括：对在同一环境下近似为高斯分布的信号源建立高斯模型，设定信号源的高斯模型概率阈值范围，过滤掉不在阈值范围内的信号。9.根据权利要求1所述的一种基于多模融合的半监督场景分类识别方法，其特征在于，所述缺失数据处理包括：若信号源整体缺失，则不从信号源中提取特征；若信号源随机缺失，则使用滑动窗口提取平均特征。10.根据权利要求9所述的一种基于多模融合的半监督场景分类识别方法，其特征在于，所述滑动窗口提取平均特征包括：若随机缺失的信号源的滑动窗口大小为设定的窗口时间，且相邻窗口之间没有重叠部分，则当滑动窗口进行更新时，在当前的滑动窗口里提取特征并对其进行分类识别。11.根据权利要求2所述的一种基于多模融合的半监督场景分类识别方法，其特征在于，所述通过特征提取作为模型的输入包括：将采集的信号源分别进行异常数据处理和缺失数据处理后的Wi-Fi和蓝牙信号源数据，分别进行窗口时间设定，在滑动窗口中选取与分类相关度较高的特征作为模型的输入；将采集的信号源进行异常数据处理和缺失数据处理后的传感器数据，通过相关性分析，分别提取传感器特征的一个或多个强特征；所述强特征包括以下特征中的至少一种：平均值、极差、标准差、中值。12.根据权利要求11所述的一种基于多模融合的半监督场景分类识别方法，其特征在于，所述传感器相应参数包括加速度三轴、方向三轴、温度、湿度、光照强度。13.一种基于多模融合的半监督场景分类识别系统，其特征在于，包括场景分类识别平台；所述场景分类识别平台用于：数据预处理：从环境中采集智能设备...

【专利技术属性】
技术研发人员：刘军发，沈鸿，
申请(专利权)人：中科劲点北京科技有限公司，
类型：发明
国别省市：北京,11