会议发言角色的区分方法、装置、设备及可读存储介质制造方法及图纸

本发明专利技术公开了一种会议发言角色的区分方法、装置、设备及可读存储介质，该方法包括以下步骤：采集各参会人员所参与会议中的当前语音信息，并识别所述当前语音信息，生成第一文本信息；采集各所述参会人员的人脸信息和唇语信息，并在各所述人脸信息和各所述唇语信息之间形成关联关系；识别各所述唇语信息，生成第二文本信息；计算所述第一文本信息和各所述第二文本信息之间的相似度值，并根据各所述相似度值和所述关联关系，确定各所述参会人员中的当前发言角色。本发明专利技术由第一文本信息和各第二文本信息之间的相似度大小，来确定当前发言角色；有利于未采集声纹的临时参会人员参与会议，可对随时参会的各人员进行发言角色的区分。

Methods, devices, devices and readable storage media for the roles of conference speakers

【技术实现步骤摘要】
会议发言角色的区分方法、装置、设备及可读存储介质
本专利技术涉及金融科技(Fintech)
，尤其涉及一种会议发言角色的区分方法、装置、设备及可读存储介质。
技术介绍
随着金融科技(Fintech)，尤其是互联网科技金融的不断发展，智能会议系统在金融领域中的应用越来越广泛，智能会议系统可对参会人员的发言进行记录，并生成为会议纪要。在会议中具有多个参会人员的情况下，对参会人员发言的记录必然需要对发言的角色进行区分，当前的角色区分方式主要涉及到两种，其一通过麦克风区分信道的方式，其二通过声纹识别的方式。其中，对于麦克风区分信道的方式需要参会人员各佩戴一个麦克风，这种方式智能化低且用户体验较差；而对于声纹识别的方式虽然智能化较高，但是一般需要提前采集参会人员的声纹，不利于未采集声纹的临时参会人员的参会，区分范围没有全面覆盖到该类临时参会人员。
技术实现思路
本专利技术的主要目的在于提供一种会议发言角色的区分方法、装置、设备及可读存储介质，旨在解决现有技术中区分会议发言角色的方式不能全面覆盖未采集声纹的临时参会人员的技术问题。为实现上述目的，本专利技术提供一种会议发言角色的区分方法，所述会议发言角色的区分方法包括以下步骤：采集各参会人员所参与会议中的的当前语音信息，并识别所述当前语音信息，生成第一文本信息；采集各所述参会人员的人脸信息和唇语信息，并在各所述人脸信息和各所述唇语信息之间形成关联关系；识别各所述唇语信息，生成第二文本信息；计算所述第一文本信息和各所述第二文本信息之间的相似度值，并根据各所述相似度值和所述关联关系，确定各所述参会人员中的当前发言角色。可选地，所述根据各所述相似度值和所述关联关系，确定各所述参会人员中的当前发言角色的步骤包括：将各所述相似度值进行对比，确定各所述相似度值中的最大值，并将与所述最大值对应的唇语信息确定为目标唇语信息；根据所述关联关系，确定与所述目标唇语信息对应的目标人脸信息，并将与所述目标人脸信息对应的参会人员确定为当前发言角色。可选地，所述计算所述第一文本信息和各所述第二文本信息之间的相似度值的步骤包括：将所述第一文本信息和各所述第二文本信息均传输到预设模型中，生成第一文本向量和第二文本向量组；根据预设算法，将所述第二文本向量组中的各元素逐一和所述第一文本向量进行计算，生成所述第一文本信息和各所述第二文本信息之间的相似度值。可选地，所述采集各所述参会人员所参与会议中的的当前语音信息的步骤包括：采集各所述参会人员所参与会议中的的声音信号，并将各所述声音信号和预设阈值对比，确定各所述声音信号中大于所述预设阈值的目标声音信号；监测各所述目标声音信号的持续时长，对所述持续时长小于预设时长的目标声音信号进行过滤，并将所述持续时长大于或等于预设时长的目标声音信号确定为当前语音信息进行采集。可选地，所述采集各参会人员的人脸信息和唇语信息的步骤包括：获取各所述参会人员的视频信息，并从各所述视频信息中提取出各所述参会人员的人脸信息；识别各所述人脸信息中的唇部位置，并从所述视频信息中提取与各所述唇部位置对应的唇部图像作为唇语信息。可选地，所述确定各所述参会人员中的当前发言角色的步骤之后包括：读取所述当前发言角色的身份信息，并从所述当前语音信息中提取声纹信息；将所述身份信息和所述声纹信息进行关联，生成身份声纹对，并将所述身份声纹对保存到预设声纹库中。可选地，所述识别所述当前语音信息，生成第一文本信息的步骤之前包括：提取所述当前语音信息中的待识别声纹信息，并判断预设声纹库中是否存在与所述待识别声纹信息对应的身份声纹对；若存在与所述待识别声纹信息对应的身份声纹对，则根据对应的身份声纹对，确定各所述参会人员中的当前发言角色；所述识别所述当前语音信息，生成第一文本信息，包括：若不存在与所述待识别声纹信息对应的身份声纹对，则识别所述当前语音信息，生成第一文本信息。进一步地，为实现上述目的，本专利技术还提供一种会议发言角色的区分装置，所述会议发言角色的区分装置包括：识别模块，用于采集各参会人员所参与会议中的当前语音信息，并识别所述当前语音信息，生成第一文本信息；采集模块，用于采集各所述参会人员的人脸信息和唇语信息，并在各所述人脸信息和各所述唇语信息之间形成关联关系；生成模块，用于识别各所述唇语信息，生成第二文本信息；确定模块，用于计算所述第一文本信息和各所述第二文本信息之间的相似度值，并根据各所述相似度值和所述关联关系，确定各所述参会人员中的当前发言角色。进一步地，为实现上述目的，本专利技术还提供一种会议发言角色的区分设备，所述会议发言角色的区分设备包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的会议发言角色的区分程序，所述会议发言角色的区分程序被所述处理器执行时实现如上述所述的会议发言角色的区分方法的步骤。进一步地，为实现上述目的，本专利技术还提供一种可读存储介质，所述可读存储介质上存储有会议发言角色的区分程序，所述会议发言角色的区分程序被处理器执行时实现如上所述的会议发言角色的区分方法的步骤。本专利技术的会议发言角色的区分方法，先采集各参会人员的当前语音信息，并对该采集的当前语音信息进行识别，生成第一文本信息；再采集各参会人员的人脸信息和唇语信息，在各人脸信息和各所述唇语信息之间形成关联关系，并识别各唇语信息，生成第二文本信息；此后，对第一文本信息和各第二文本信息之间的相似度值进行计算，以依据计算的各相似度值和关联关系，确定各参会人员中的当前发言角色。因第一文本信息反映了会议中的当前说话内容，第二文本信息反映了参会人员各自的说话内容，第一文本信息和各第二文本信息之间的相似度大小，表征了各参会人员与当前说话内容的相关性大小，由此确定当前发言角色；避免了会议受提前采集参会人员声纹信息的限制，有利于未采集声纹的临时参会人员参与会议，可对随时参会的各人员进行发言角色的区分。附图说明图1为本专利技术会议发言角色的区分设备实施例方案涉及的设备硬件运行环境的结构示意图；图2为本专利技术会议发言角色的区分方法第一实施例的流程示意图；图3为本专利技术会议发言角色的区分装置较佳实施例的功能模块示意图。本专利技术目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。具体实施方式应当理解，此处所描述的具体实施例仅用以解释本专利技术，并不用于限定本专利技术。本专利技术提供一种会议发言角色的区分设备，参照图1，图1为本专利技术会议发言角色的区分设备实施例方案涉及的设备硬件运行环境的结构示意图。如图1所示，该会议发言角色的区分设备可以包括：处理器1001，例如CPU，通信总线1002、用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Di本文档来自技高网...

【技术保护点】
1.一种会议发言角色的区分方法，其特征在于，所述会议发言角色的区分方法包括以下步骤：/n采集各参会人员所参与会议中的的当前语音信息，并识别所述当前语音信息，生成第一文本信息；/n采集各所述参会人员的人脸信息和唇语信息，并在各所述人脸信息和各所述唇语信息之间形成关联关系；/n识别各所述唇语信息，生成第二文本信息；/n计算所述第一文本信息和各所述第二文本信息之间的相似度值，并根据各所述相似度值和所述关联关系，确定各所述参会人员中的当前发言角色。/n

【技术特征摘要】
1.一种会议发言角色的区分方法，其特征在于，所述会议发言角色的区分方法包括以下步骤：
采集各参会人员所参与会议中的的当前语音信息，并识别所述当前语音信息，生成第一文本信息；
采集各所述参会人员的人脸信息和唇语信息，并在各所述人脸信息和各所述唇语信息之间形成关联关系；
识别各所述唇语信息，生成第二文本信息；
计算所述第一文本信息和各所述第二文本信息之间的相似度值，并根据各所述相似度值和所述关联关系，确定各所述参会人员中的当前发言角色。


2.如权利要求1所述的会议发言角色的区分方法，其特征在于，所述根据各所述相似度值和所述关联关系，确定各所述参会人员中的当前发言角色的步骤包括：
将各所述相似度值进行对比，确定各所述相似度值中的最大值，并将与所述最大值对应的唇语信息确定为目标唇语信息；
根据所述关联关系，确定与所述目标唇语信息对应的目标人脸信息，并将与所述目标人脸信息对应的参会人员确定为当前发言角色。


3.如权利要求1所述的会议发言角色的区分方法，其特征在于，所述计算所述第一文本信息和各所述第二文本信息之间的相似度值的步骤包括：
将所述第一文本信息和各所述第二文本信息均传输到预设模型中，生成第一文本向量和第二文本向量组；
根据预设算法，将所述第二文本向量组中的各元素逐一和所述第一文本向量进行计算，生成所述第一文本信息和各所述第二文本信息之间的相似度值。


4.如权利要求1所述的会议发言角色的区分方法，其特征在于，所述采集各所述参会人员所参与会议中的当前语音信息的步骤包括：
采集各所述参会人员所参与会议中的声音信号，并将各所述声音信号和预设阈值对比，确定各所述声音信号中大于所述预设阈值的目标声音信号；
监测各所述目标声音信号的持续时长，对所述持续时长小于预设时长的目标声音信号进行过滤，并将所述持续时长大于或等于预设时长的目标声音信号确定为当前语音信息进行采集。


5.如权利要求1所述的会议发言角色的区分方法，其特征在于，所述采集各参会人员的人脸信息和唇语信息的步骤包括：
获取各所述参会人员的视频信息，并从各所述视频信息中提取出各所述参会人员的人脸信息；
识别各所述人脸信息中的唇...

【专利技术属性】
技术研发人员：周楠楠，杨海军，徐倩，
申请(专利权)人：深圳前海微众银行股份有限公司，
类型：发明
国别省市：广东;44