The invention relates to a multi-dimensional intelligent RV cooperative control method based on correlation redundancy transformation and reinforcement learning, which belongs to the field of Internet of things. The method revolves around the independent cooperative control demand of the integrated equipment connection protocol, the sharing device interface and the system integration of the smart business, using the autonomous control guidance strategy based on the POMDP model and the depth enhanced learning, and the control state of the multidimensional intelligent fusion as the input of the computer control system. The POMDP model is established to perceive, adapt and track the change of the control state of the equipment, and adopt the strategy optimization method based on the depth enhancement learning to select the best action strategy, and realize the autonomous cooperative control of the commercial travel RV. The invention is not only beneficial to the effectiveness and real time of the final decision, but also improves the accuracy of interactive feedback and the learning optimization of the strategy, and improves the user experience.
【技术实现步骤摘要】
一种基于相关冗余变换与增强学习的多维度协同控制方法
本专利技术属于物联网领域,涉及一种基于相关冗余变换与增强学习的多维度协同控制方法。
技术介绍
智能房车作为智能网联汽车与智能家居深度融合的产物,利用多传感器数据采集与车载网关通信技术,对车载设备进行智能化控制,满足人们对于房车的空间体验与智能生活的需求。作为智能房车核心之一的智能控制技术,其控制策略执行的实时性与准确性直接决定着智能房车的优劣,但就目前市场现有的智能房车而言,存在着控制方式单一、控制策略生成智能性欠缺、执行代价过高等问题。为此,本专利采用多源异构信息特征统一与融合,使多源传感器数据进行整合,为多模态复杂环境下的控制奠定基础,并使用POMDP模型下的控制状态引导策略方法与深度增强学习的控制状态引导策略优化两者结合,使控制决策更加准确与智能,同时采用基于总线的底层控制,大幅降低传感器接入成本,改善整个感知平台的可靠性,节省大量运算资源。
技术实现思路
有鉴于此,本专利技术的目的在于提供一种基于相关冗余变换与增强学习的多维度协同控制方法,为达到上述目的,本专利技术提供如下技术方案:一种基于相关冗余变换与增强学习的多维度协同控制方法,包括以下步骤:S1:多源异构信息特征统一与融合;S2:采用基于POMDP模型的控制状态策略引导;S3:采用基于深度增强学习的控制状态引导策略优化;S4:采用基于总线的分布式底层控制。进一步,所述步骤S1具体为:对多传感器网络环境下,多传感器异构信息通过经典相关分析算法CCA和同构相关冗余变换(IsomorphicRelevantRedundantTransformatio ...
【技术保护点】
一种基于相关冗余变换与增强学习的多维度协同控制方法,其特征在于:该方法包括以下步骤:S1:多源异构信息特征统一与融合;S2:采用基于POMDP模型的控制状态策略引导;S3:采用基于深度增强学习的控制状态引导策略优化;S4:采用基于总线的分布式底层控制。
【技术特征摘要】
1.一种基于相关冗余变换与增强学习的多维度协同控制方法,其特征在于:该方法包括以下步骤:S1:多源异构信息特征统一与融合;S2:采用基于POMDP模型的控制状态策略引导;S3:采用基于深度增强学习的控制状态引导策略优化;S4:采用基于总线的分布式底层控制。2.根据权利要求1所述的一种基于相关冗余变换与增强学习的多维度协同控制方法,其特征在于:所述步骤S1具体为:对多传感器网络环境下,多传感器异构信息通过经典相关分析算法CCA和同构相关冗余变换(IsomorphicRelevantRedundantTransformation,IRRT)算法分析,将多个异构信息映射到一个统一的、量纲可计算的空间,对特征信息进行统一表示后对信息进行融合。3.根据权利要求1所述的一种基于相关冗余变换与增强学习的多维度协同控制方法,其特征在于:所述步骤S2具体为:采用多源异构融合技术获得的商务旅居房车各类设备的控制状态,建立POMDP模型以感知、适应、追踪设备控制状态的变化;通过POMDP模型的内部作用器给设备控制状态施加动作,以引起设备控制状态发生变化,并获得一定回报;根据获得的累计回报来衡量所执行一系列策略的可能性,进而将商务旅居房车的设备控制问题转换成策略选择问题;具体地,POMDP模型描述为<S,A,T,O,Q,β>,综合环境状态在POMDP模型概率分布中的置信状态表示为B={bt},其t时刻的概率分布为bt={bt(s1),...,bt(sm)};其中,bt(si)表示t时刻环境状态为Si的概率;通过对当前时刻控制环境的观察与动作的选择,POMDP模型推导出下一时刻控制状态的置信值;假设起始时刻的置信状态为b0,执行动作a与观察a,获得下一时刻置信状态b1;当处于控制状态s1,模型获得的观察为o1,模型内部状态为i1;通过计算,根据控制状态引导策略选择相应的动作a1,导致环境状态从s1转移到s2,模型获得回报r1与观察o2,此时模型内部状态从i1(b1)转移到i2(b2),然后模型依此继续运行;具体地,构建问题的引导策略估计函数实现对话状态跟踪,该函数为其中,是对应节点n的动作向量状态s的值;通过控制状态策略演化,得到下一时刻的控制状态引导策略函数,其中表示最优策略,表示上一时刻的策略函数。4.根据权利要求1所述的一种基于相关冗余变换...
【专利技术属性】
技术研发人员:李鹏华,王欢,李嫄源,朱智勤,张家昌,
申请(专利权)人:重庆邮电大学,
类型:发明
国别省市:重庆,50
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。