一种面向多模态融合模式识别应用的高效分类器堆叠框架制造技术

本发明专利技术公开了一种面向多模态融合模式识别应用的高效分类器堆叠框架包括若干传感器，一个运行时在线数据缓存和一个基于分类器堆叠技术的控制单元。其中，传感器负责和环境和用户交互，获取实时数据；运行时在线数据缓存保存获取的实时数据；基于分类器堆叠技术的控制单元由若干分类器堆叠构成，根据系统要求和传感器配置，使用传感器历史数据，由分类器给出系统稳定性的判断，判断系统是否会发生改变，从而对系统中的传感器进行控制。本发明专利技术针对多模态系统中不可避免的高能耗问题，提出了一种高效的系统构建框架，拥有泛用性好，易于构建，能耗低，适用面广等优点，能够有效的运用于各类涉及多模态融合的系统。

An efficient classifier stack framework for multimodal fusion pattern recognition applications

The invention discloses an efficient classifier stack framework for multimodal fusion pattern recognition applications, including a number of sensors, a runtime online data cache and a control unit based on the classifier stack technique. The sensor is responsible for the interaction between the environment and the user to obtain real-time data, and the real-time data is saved by the on-line data cache at runtime. The control unit based on the classifier stack technique is stacked by a number of classifiers. Based on the system requirements and sensor configuration, the sensor history data is used and the system is given by the classifier. The judgement of stability determines whether the system will change, so as to control the sensors in the system. In view of the inevitable high energy consumption in multimodal systems, a high efficient framework for system construction has been proposed, which has the advantages of good flooding, easy construction, low energy consumption and wide application, and can be effectively applied to various systems involving multimodal fusion.

【技术实现步骤摘要】
一种面向多模态融合模式识别应用的高效分类器堆叠框架
本专利技术属于计算机应用领域，特别是针对多模态融合系统中常见的因设备过多导致的能耗过高，计算性能超过负荷等问题而设计的能使系统得到全面优化一种系统构建框架，具体地说一种面向多模态融合模式识别应用的高效分类器堆叠框架。
技术介绍
随着传感器技术和智能终端的不断发展，已经日渐普及，目前有越来多的系统已经部署到移动平台上，他们通过多种传感设备的共同运用，例如摄像头，麦克风，加速度传感器，GPS等，通过观察记录用户日常生活中的各种信息来获取用户当前所处的状态信息，通过将各种数据或是中间结果进行融合并提供给系统进行处理。通常，我们将这些各种信息分为各个模态的信息，包含听觉，视觉，触觉等若干模态，例如，有一个睡眠监控系统，在用户睡眠时在他附近放置包括摄像头，麦克风，红外线感测器，光强传感器等，以此来感知用户的睡眠质量。通常，这些系统大都部署在独立的移动平台上，随着系统复杂性和实时性等的提高，系统的能耗同时也在提升，但是由于设备大小的限制，并不能携带过大的电池或者接入电源工作，而且某些设备的使用场景导致充电困难，例如布置在城市中的摄像监控装充电难度就较大。因此，人们希望能够尽量在不降低系统性能的情况下，节约系统的能耗。除此以外，同时计算多模态的数据也给系统中的计算单元带来了较大的负荷。最近，随着智能手机的功能的完善和广泛普及，目前智能手机上已经安置有绝大多数常用传感器，许多系统已经移植到了手机端或是基于开发，比如基于加速度监控用户的运动状态，睡眠状态等。手机本身的电池容量尽管已经获得了很大的提升，但是通常情况只能支撑手机工作一到两天的时间，特别在打开传感器工作时的电池能耗甚至可能只能支撑几个小时。与此同时，手机的CPU还在同时进行大量的运算，高能耗下也会带来系统运算性能的下降，所以如何优化系统的设计成了重中之重。
技术实现思路
本专利技术目的是为了克服传统的多模态系统中的能耗过高的问题，而提供一种面向多模态融合模式识别应用的高效分类器堆叠框架。为实现上述技术目的，本专利技术采取的技术方案为：一种面向多模态融合模式识别应用的高效分类器堆叠框架，该框架包括由多个传感器构成的数据源，用于获取实时数据；一个运行时在线数据缓存，用于保存获取的实时数据；一个基于分类器堆叠的控制单元，用于数据的运算处理并对传感器进行控制；面向多模态融合模式识别应用的高效分类器堆叠框架方法具体包含以下步骤：1)数据源包括N个传感器S1,S2,…,SN，在某个时刻t，运行的传感器为前n个传感器，各个传感器单独收集数据，分别形成输入数据流；设各个传感器Si数据率已知为每秒ri个采样值，输入数据存储于运行时在线数据缓存，记各个传感器缓存的数据分别为Di；所述的ri为正实数；2)从当前时刻t开始，根据大小为w秒的滑动窗口在各个传感器缓存的数据中向前选取数据Di[t-w,t]作为当前时间窗口下传感器Si的数据，记为Di,t；所述的w为正实数；3)在各个传感器的当前窗口的数据下，将传感器按照模态的强弱顺序进行排序；基于分类器堆叠的控制单元从最低层分类器开始依次开始选取若干模态的历史窗口数据，判断系统是否可能会发生改变；若指示系统稳定，则选择性关闭若干传感器；若指示系统可能会改变，则根据需求打开更多的传感器监测系统的状态。为优化上述技术方案，采取的具体措施还包括：上述的步骤1)的具体过程为：1.1)创建大小动态变化的运行时缓存D；1.2)将各个传感器获得的数据存入缓存D，并按照不同的传感器分开存储，其中每个传感器内的数据按照时间先后存储；1.3)根据上层分类器堆叠单元以及实际应用的需要，定义D中各个传感器的缓存数据最长的保留时间为hi秒，从而避免过于陈旧的数据占据D的空间；所述的hi为w的整数倍。上述的步骤2)的具体过程为：2.1)根据上层分类器堆叠单元以及实际应用的需要，合理的选择滑动窗口在时间上的分片粒度w；2.2)从当前时刻t开始，根据大小为w秒的滑动窗口在各个传感器缓存的数据中向前选取数据Di[t-w,t]作为当前时间窗口下传感器Si的数据，记为Di,t。上述的步骤3)的具体过程为：3.1)分类器堆叠单元将所有的传感器按照模态由弱到强的顺序进行排序；3.2)分类器堆叠单元由m个分类器堆叠构成，记为C1,C2,…,Cm，对应着由弱到强的模态，每个分类器Cj的输入包含有前Oj个传感器和第j+1个分类器在t-1时刻的输出，第j个分类器Cj输出结果为下一个传感器Cj+1是否会发生改变；第m个分类器为系统最终输出结果的分类单元；这些分类器由系统预先进行训练完成；3.3)计算可以获得的输入值。第j个分类器的输入包含第j+1个分类器在t-1时刻的输出和来自前Oj个传感器的输入。第i个传感器对于该分类器Cj的输入为和历史数据相关的改变量f(m-j)(i,t)，其具体定义为：f(m-j)(i，t)＝f(m-j-1)(i，t)-f(m-j-1)(i，t-1)f(0)(i，t)＝Di，t其中，f(0)(i,t)对应第i个传感器的原始数据；3.4)从传感器C1开始进行判断，若输出结果为不改变，则说明C2的结果可以复用前一时刻的结果。若为改变，则由C2对查询传感器进行判断，输出当前时刻下C2的结果；3.5)按照此规律依次对m个传感器进行计算，最后分类器Cm的输出对应系统最终的识别状态，既系统输出；3.6)在步骤3.5)的计算过程中，若计算到某个分类器Ci时已经得出系统状态在当前时刻不会发生改变，则在下一时刻只需要打开分类器Ci所需要的传感器，对系统状态进行监测即可，关闭其他能耗高的传感器；3.7)在步骤3.5)的计算过程中，若分类器Ci需要的输入值涉及某个在当前时刻没有打开的传感器，那么系统结束当前时刻的计算，沿用前一时刻的结果，通知所有传感器打开进行数据采集，在下一时刻进行判断。与现有技术相比，本专利技术的一种面向多模态融合模式识别应用的高效分类器堆叠框架包括若干传感器，一个运行时在线数据缓存和一个基于分类器堆叠技术的控制单元。其中，传感器负责和环境和用户交互，获取实时数据；运行时在线数据缓存保存获取的实时数据；基于分类器堆叠技术的控制单元由若干分类器堆叠构成，根据系统要求和传感器配置，使用传感器历史数据，由分类器给出系统稳定性的判断，判断系统是否会发生改变，从而对系统中的传感器进行控制。本专利技术针对多模态系统中不可避免的高能耗问题，提出了一种高效的系统构建框架，拥有泛用性好，易于构建，能耗低，适用面广等优点，能够有效的运用于各类涉及多模态融合的系统。附图说明图1是本专利技术的系统流程图；图2是本专利技术分类器堆叠单元构成图；图3是本专利技术堆叠分类器识别流程图。具体实施方式以下结合附图对本专利技术的实施例作进一步详细描述。专利技术目的是为了克服传统的多模态系统中的能耗过高的问题，本专利技术面向多模融合模式识别类应用，针对其中的各个传感器的性能，能耗和具体性质的研究，提出了一种使用在线缓存数据的，高效，准确，持久的系统框架。在实现高效融合的同时，我们通过将传统多模态融合模式识别系统的识别方法嵌入到分类器堆叠的控制单元中，从而使得该系统框架对输入数据的格式和特征，系统具体识别方法的实现并不做任何预设，从而在系统设计过程中可以方便的构建新的系统框架，灵活的满足本文档来自技高网...

【技术保护点】
1.一种面向多模态融合模式识别应用的高效分类器堆叠框架，其特征是：所述的框架包括由多个传感器构成的数据源，用于获取实时数据；一个运行时在线数据缓存，用于保存获取的实时数据；一个基于分类器堆叠的控制单元，用于数据的运算处理并对传感器进行控制；面向多模态融合模式识别应用的高效分类器堆叠框架方法具体包含以下步骤：1)数据源包括N个传感器S1,S2,…,SN，在某个时刻t，运行的传感器为前n个传感器，各个传感器单独收集数据，分别形成输入数据流；设各个传感器Si数据率已知为每秒ri个采样值，输入数据存储于运行时在线数据缓存，记各个传感器缓存的数据分别为Di；所述的ri为正实数；2)从当前时刻t开始，根据大小为w秒的滑动窗口在各个传感器缓存的数据中向前选取数据Di[t‑w,t]作为当前时间窗口下传感器Si的数据，记为Di,t；所述的w为正实数；3)在各个传感器的当前窗口的数据下，将传感器按照模态的强弱顺序进行排序；基于分类器堆叠的控制单元从最低层分类器开始依次开始选取若干模态的历史窗口数据，判断系统是否可能会发生改变；若指示系统稳定，则选择性关闭若干传感器；若指示系统可能会改变，则根据需求打开更多的传感器监测系统的状态。...

【技术特征摘要】
1.一种面向多模态融合模式识别应用的高效分类器堆叠框架，其特征是：所述的框架包括由多个传感器构成的数据源，用于获取实时数据；一个运行时在线数据缓存，用于保存获取的实时数据；一个基于分类器堆叠的控制单元，用于数据的运算处理并对传感器进行控制；面向多模态融合模式识别应用的高效分类器堆叠框架方法具体包含以下步骤：1)数据源包括N个传感器S1,S2,…,SN，在某个时刻t，运行的传感器为前n个传感器，各个传感器单独收集数据，分别形成输入数据流；设各个传感器Si数据率已知为每秒ri个采样值，输入数据存储于运行时在线数据缓存，记各个传感器缓存的数据分别为Di；所述的ri为正实数；2)从当前时刻t开始，根据大小为w秒的滑动窗口在各个传感器缓存的数据中向前选取数据Di[t-w,t]作为当前时间窗口下传感器Si的数据，记为Di,t；所述的w为正实数；3)在各个传感器的当前窗口的数据下，将传感器按照模态的强弱顺序进行排序；基于分类器堆叠的控制单元从最低层分类器开始依次开始选取若干模态的历史窗口数据，判断系统是否可能会发生改变；若指示系统稳定，则选择性关闭若干传感器；若指示系统可能会改变，则根据需求打开更多的传感器监测系统的状态。2.根据权利要求1所述的一种面向多模态融合模式识别应用的高效分类器堆叠框架，其特征是：所述的步骤1)的具体过程为：1.1)创建大小动态变化的运行时缓存D；1.2)将各个传感器获得的数据存入缓存D，并按照不同的传感器分开存储，其中每个传感器内的数据按照时间先后存储；1.3)根据上层分类器堆叠单元以及实际应用的需要，定义D中各个传感器的缓存数据最长的保留时间为hi秒，从而避免过于陈旧的数据占据D的空间；所述的hi为w的整数倍。3.根据权利要求2所述的一种面向多模态融合模式识别应用的高效分类器堆叠框架，其特征是：所述的步骤2)的具体过程为：2.1)根据上层分类器堆叠单元以及实际应用的需要，合理的选择滑动窗口在时间上的分片粒度w；2....

【专利技术属性】
技术研发人员：汪亮，吴天珩，陶先平，吕建，
申请(专利权)人：南京大学，
类型：发明
国别省市：江苏,32