一种用于智能座舱的交互方法、装置、设备和介质制造方法及图纸

本公开提供了一种用于智能座舱的交互方法，涉及人工智能技术领域，尤其涉及智能交互。实现方案为：根据用户的交互指令，采集与智能座舱相关联的多模态信息；对多模态信息进行预处理；采用预先训练的多模态信息对齐模型，确定经预处理的多模态信息与交互指令是否对齐；以及根据确定的结果和经预处理的多模态信息，确定针对交互指令的响应策略。确定针对交互指令的响应策略。确定针对交互指令的响应策略。

【技术实现步骤摘要】
一种用于智能座舱的交互方法、装置、设备和介质


[0001]本公开涉及人工智能
，尤其涉及智能交互，具体涉及一种用于智能座舱的方交互法、装置、电子设备、计算机可读存储介质和计算机程序产品。

技术介绍

[0002]人工智能是研究使计算机来模拟人的某些思维过程和智能行为(如学习、推理、思考、规划等)的学科，既有硬件层面的技术也有软件层面的技术。人工智能硬件技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理等技术:人工智能软件技术主要包括计算机视觉技术、语音识别技术、自然语言处理技术以及机器学习/深度学习、大数据处理技术、知识图谱技术等几大方向。
[0003]在出行方面，通过配置智能化的车载产品，让出行工具逐渐演化成一个可以动的智能出行空间。智能座舱与用户之间的交互技术的发展将带给用户更舒适和更智能化体验。在相关技术中，用于智能座舱的交互技术的研究还有很大的提升空间。
[0004]在此部分中描述的方法不一定是之前已经设想到或采用的方法。除非另有指明，否则不应假定此部分中描述的任何方法仅因其包括在此部分中就被认为是现有技术。类似地，除非另有指明，否则此部分中提及的问题不应认为在任何现有技术中已被公认。

技术实现思路

[0005]本公开提供了一种用于智能座舱的交互方法的方法、装置、电子设备、计算机可读存储介质和计算机程序产品。
[0006]根据本公开的一方面，提供了一种用于智能座舱的交互方法，包括：根据用户的交互指令，采集与智能座舱相关联的多模态信息；对多模态信息进行预处理；采用预先训练的多模态信息对齐模型，确定经预处理的多模态信息与交互指令是否对齐；以及根据确定的结果和经预处理的多模态信息，确定针对交互指令的响应策略。
[0007]根据本公开的另一方面，提供了一种智能座舱交互装置，包括：采集单元，被配置为根据来自智能座舱内的用户的交互指令，采集与智能座舱相关联的多模态信息；预处理单元，被配置为对多模态信息进行预处理；第一确定单元，被配置为采用预先训练的多模态信息对齐模型，确定经预处理的多模态信息与交互指令是否对齐；以及第二确定单元，被配置为根据确定的结果和经预处理的多模态信息，确定针对交互指令的响应策略。
[0008]根据本公开的另一方面，提供了一种电子设备，包括：至少一个处理器以及与处理器通信连接的存储器；存储器存储有可被至少一个处理器执行的命令，指令被至少一个处理器执行，以使至少一个处理器能够执行上述方法的步骤。
[0009]根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，计算机指令用于使计算机执行上述方法的步骤。
[0010]根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序。计算机程序被处理器执行时实现上述方法的步骤。
[0011]根据本公开的一个或多个实施例，可以基于多方面信息对用户做出响应，提升用户体验。
[0012]应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
[0013]附图示例性地示出了实施例并且构成说明书的一部分，与说明书的文字描述一起用于讲解实施例的示例性实施方式。所示出的实施例仅出于例示的目的，并不限制权利要求的范围。在所有附图中，相同的附图标记指代类似但不一定相同的要素。
[0014]图1示出了根据本公开的实施例的可以在其中实施本文描述的各种方法的示例性系统的示意图；
[0015]图2示出了相关技术中的用于智能座舱的交互方法的示意图；
[0016]图3示出了根据本公开的实施例的用于智能座舱的交互方法的流程图；
[0017]图4示出了根据本公开的实施例的在图1中的确定多模态信息与交互指令是否对齐的流程图；
[0018]图5示出了根据本公开的实施例的在图1中的确定响应策略的流程图；
[0019]图6示出了根据本公开的实施例的用于智能座舱的交互方法的示意图；
[0020]图7示出了根据本公开的实施例的用于智能座舱的交互装置的结构框图；
[0021]图8示出了能够用于实现本公开的实施例的示例性电子设备的结构框图。
具体实施方式
[0022]以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
[0023]在本公开中，除非另有说明，否则使用术语“第一”、“第二”等来描述各种要素不意图限定这些要素的位置关系、时序关系或重要性关系，这种术语只是用于将一个元件与另一元件区分开。在一些示例中，第一要素和第二要素可以指向该要素的同一实例，而在某些情况下，基于上下文的描述，它们也可以指代不同实例。
[0024]在本公开中对各种所述示例的描述中所使用的术语只是为了描述特定示例的目的，而并非旨在进行限制。除非上下文另外明确地表明，如果不特意限定要素的数量，则该要素可以是一个也可以是多个。此外，本公开中所使用的术语“和/或”涵盖所列出的项目中的任何一个以及全部可能的组合方式。
[0025]互联网及AI技术的不断发展重新定义了人类的生活方式，影响人类衣食住行各个方面，在出行方面，通过配备智能化的车载产品，汽车进入智能驾驶时代，从出行工具逐渐演化成一个可移动的智能出行空间。智能化车载产品通过人、路、车的信息收集和交换，让车内的用户在狭小的车舱内，也能拥有舒适便捷的驾驶和出行体验。
[0026]在相关技术中，智能座舱在支持多种交互方式上已经有很大的进步，拥有多种交互功能，如人脸识别、语音识别、分区识音、手势控制等，用户可以通过多种方式与智能座舱
进行交互。但每种交互功能一般只基于单一的信息源，如人脸检测只使用视觉能力，语音识别只使用麦克风采集到的音频信息等。
[0027]人与人自然交互状态是，当两个人面对面进行对话或信息交换的时候，人会充分发挥自己的感知能力，通过视觉、听觉、嗅觉、味觉、触觉、知觉等收集理解信息，并综合各渠道的信息给出最终反馈。比如用户在说一个笑话的时候，不仅通过语音把笑话说出来，还会手舞足蹈得表达自己的情绪。如果带给用户更高满意度的体验，需要综合各种信息源对用户行为进行分析和决策，并给出基于多种信息源决策结果的反馈。
[0028]下面将结合附图详细描述本公开的实施例。
[0029]图1示出了根据本公开的实施例可以将本文描述的各种方法和装置在其中实施的示例性系统100的示意图。参考图1，该系统100包括一个或多个客户端设备101、102、103、104、105和106、服务器120以及将一个或多个客户端设备耦接到服务器120的一个或多个通信网络110。客户端设备101、102、103、104、105和10本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于智能座舱的交互方法，包括：根据用户的交互指令，采集与所述智能座舱相关联的多模态信息；对所述多模态信息进行预处理；采用预先训练的多模态信息对齐模型，确定经预处理的多模态信息与所述交互指令是否对齐；以及根据所述确定的结果和经预处理的多模态信息，确定针对所述交互指令的响应策略。2.如权利要求1所述的方法，其中，所述智能座舱包括车载信息系统，所述车载信息系统包括麦克风、相机和触控装置，所述与所述智能座舱相关联的多模态信息包括以下至少一项：所述麦克风采集的音频信息；所述相机采集的视频信息；所述触控装置感测的触控信息；和承载所述智能座舱的车辆的车辆状态信息。3.如权利要求2所述的方法，其中，所述交互指令包括音频指令，所述多模态信息包括所述视频信息，所述确定经预处理的多模态信息与所述交互指令是否对齐包括：从所述视频信息中标识与所述音频指令具有相同开始时间和相同结束时间的视频片段；从所述音频指令中识别指令词；从所述视频片段中识别所述用户的嘴唇运动；以及响应于确定所述用户的嘴唇运动与所述指令词对应的嘴唇运动相匹配，确定所述音频指令与所述视频信息对齐。4.如权利要求2所述的方法，其中，所述交互指令包括音频指令，所述多模态信息包括所述车辆状态信息，所述确定经预处理的多模态信息与所述交互指令是否对齐包括：对所述音频信息进行语义分析和语义理解，以提取相应的指令意图；以及响应于所述指令意图与所述车辆状态信息相匹配，确定所述音频指令与所述车辆状态信息对齐。5.如权利要求1
‑
4中任一项所述的方法，其中，所述确定针对所述交互指令的响应策略包括：过滤经预处理的多模态信息中与所述交互指令无法对齐的信息；以及基于经过滤的多模态信息，确定所述响应策略。6.如权利要求5所述的方法，其中，所述确定所述响应策略包括：通过采用预先训练的响应策略分析模型对经过滤的多模态信息进行处理，来确定所述响应策略，其中，所述响应策略包括交互策略和执行策略中的至少一者。7.如权利要求6所述的方法，其中，所述交互策略包括通过话术回复所述用户，所述话术回复的参数由所述预先训练的响应策略分析模型获得，并且包括以下至少一项：话说音色参数；话术性别参数；话术年龄参数；话术风格参数；形象参数；表情参数以及动作参数。8.如权利要求6所述的方法，其中，所述执行策略包括控制所述承载所述智能座舱的车辆的硬件系统或软件系统以响应所述交互指令。9.如权利要求5所述的方法，其中，所述确定所述响应策略包括：
响应于经过滤的多模态信息为空集，不响应所述交互指令。10.如权利要求1
‑
4中任一项所述的方法，其中，所述对所述多模态信息进行预处理包括：通过采用预先训练的多个相应的模块信息处理模型对所述多模态信息进行所述预处理。11.一种智能座舱交互装置，包括：采集单元，被配置为根据来自所述智能座舱内的用户的交互指令，采集与所述智能座舱相关联的多模态信息；预处理单元，被配置为对所述多模态信息进行预处理；第一确定单元，被配置为采...

【专利技术属性】
技术研发人员：吴思远，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：