双录数据质检方法、装置及系统制造方法及图纸

一种双录数据质检方法、装置及系统，可用于金融领域及其他领域。方法包括：据，确定双录数据对应的多个分段时间点；对时间戳信息及分段时间点进行匹配，若匹配通过，则根据时间戳信息对视频数据与音频数据进行切分；对分段后的视频数据进行确认动作检测及图片解析，得到确认动作检测结果及签名图片组并进行识别，得到签名识别结果；对分段后的音频数据进行语音识别，得到分段文本数据，进行文本规则匹配，得到文本匹配结果；根据预设的有效性规则，进行有效性检测，得到有效性检测结果；根据确认动作检测结果、签名识别结果、文本匹配结果及有效性检测结果，生成双录数据质检结果。本发明专利技术提高了检测准确率，及双录质检检测成功率。及双录质检检测成功率。及双录质检检测成功率。

【技术实现步骤摘要】
双录数据质检方法、装置及系统


[0001]本专利技术涉及音视频处理
，尤指一种双录数据质检方法、装置及系统。

技术介绍

[0002]为了保护消费者的权益，监管机构要求商业银行业金融机构在销售理财和代销保单等金融产品时，通过录音录像(双录)规范金融机构的销售行为。目前商业银行通常采用本地缓存视频文件，等整个双录音视频录制完毕后异步上传云端保存，以备后续监管部门进行合规审查。
[0003]金融机构为保证双录视频的合规性，一般采用人工智能技术对离线音视频数据进行检查，但是存在以下问题，导致质检成功率不高：(1)客户确认环节依赖于语音转文本后的规则匹配，但客户说话声音小或环境嘈杂时，客户确认环节很容易导致质检不通过。(2)在客户签字动作环节，一般采用动作检测模型进行识别，但是动作检测模型本身识别准确率不高，同时客户经理展示签字内容时，有时候图片比较模糊，无法识别签字内容，导致质检不通过概率增大。(3)话术模板各环节依靠语音转文本后进行分段(文本分类)，然后根据模板检测点对每个分段内容进行后续相应的质检内容(比如：证件检测、签名动作检测、客本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种双录数据质检方法，其特征在于，所述方法包括：获取双录数据、电子签名信息及多个时间戳信息，并将所述双录数据分解为视频数据与音频数据；对所述音频数据进行语音识别，得到语音文本数据，并根据所述语音文本数据及预设的话术节点信息，确定所述双录数据对应的多个分段时间点；对所述时间戳信息及所述分段时间点进行匹配，若匹配通过，则根据所述时间戳信息对所述视频数据与所述音频数据进行切分，得到分段后的视频数据及分段后的音频数据；对分段后的视频数据进行确认动作检测及图片解析，得到确认动作检测结果及签名图片组，并对所述签名图片组进行识别，得到签名识别结果；对分段后的音频数据进行语音识别，得到分段文本数据，并对所述分段文本数据进行文本规则匹配，得到文本匹配结果；根据预设的有效性规则，对所述电子签名信息进行有效性检测，得到有效性检测结果；根据所述确认动作检测结果、签名识别结果、文本匹配结果及有效性检测结果，生成双录数据质检结果。2.根据权利要求1所述的方法，其特征在于，所述根据所述语音文本数据及预设的话术节点信息，确定所述双录数据对应的多个分段时间点包括：对所述语音文本数据中词汇与所述话术节点信息进行匹配，当所述语音文本数据中词汇与所述话术节点信息匹配通过时，将所述词汇对应的时间点作为分段时间点。3.根据权利要求1所述的方法，其特征在于，所述时间戳信息包括节点名称及对应的切分时间点。4.根据权利要求3所述的方法，其特征在于，所述对所述时间戳信息及所述分段时间点进行匹配，若匹配通过，则根据所述时间戳信息对所述视频数据与所述音频数据进行切分包括：分别确定各所述分段时间点与所述时间戳信息中切分时间点之间时间差的最小值，当所述最小值小于预设时间差阈值时，则所述时间戳信息与所述分段时间点匹配通过；利用与分段时间点匹配通过的时间戳信息中的切分时间点，分别对所述视频数据与所述音频数据进行切分，并将时间戳信息中的节点名称对应写入分段后的视频数据与音频数据中。5.根据权利要求1所述的方法，其特征在于，所述对分段后的视频数据进行确认动作检测及图片解析，得到确认动作检测结果及签名图片组包括：对所述视频数据进行点头检测、手势检测及唇语检测，分别得到点头检测结果、手势检测结果及唇语检测结果；根据所述点头检测结果、手势检测结果及唇语检测结果确定所述确认动作检测结果是否为检测通过，若所述点头检测结果、手势检测结果及唇语检测结果中任意一个检测结果为检测通过，则所述确认动作检测结果为检测通过。6.根据权利要求1所述的方法，其特征在于，所述对所述签名图片组进行识别，得到签名识别结果包括：对所述签名图片组进行签字笔识别，生成签字笔识别结果，并对所述签名图片组进行手部识别，生成手部识别结果；
根据所述签字笔识别结果与所述手部识别结果确定所述签名识别结果是否为识别通过，若所述签字笔识别结果与所述手部识别结果均为识别通过，则所述签名识别结果为识别通过。7.根据权利要求1所述的方法，其特征在于，所述对所述分段文本数据进行文本规则匹配，得到文本匹配结果包括：根据预设的匹配规则确定所述分段文本数据是否符合所述匹配规则，若所述分段文本数据符合所述匹配规则，则所述文本匹配结果为匹配通过。8.根据权利要求1所述的方法，其特征在于，所述根据预设的有效性规则，对所述电子签名信息进行有效性检测，得到有效性检测结果包括：根据预设的有效性规则确定所述电子签名信息是否符合所述有效性规则，若所述电子签名信息符合所述有效性规则，则所述有效性检测结果为签名有效。9.根据权利要求1所述的方法，其特征在于，所述根据所述确认动作检测结果、签名识别结果、文本匹配结果及有效性检测结果，生成双录数据质检结果包括：根据所述确认动作检测结果及所述文本匹配结果，生成客户确认检测结果；其中，若获知所述确认动作检测结果为检测通过，或所述文本匹配结果为匹配通过，则生成的客户确认检测结果为检测通过；根据所述签名识别结果及所述有效性检测结果，生成客户签名检测结果；其中，若获知所述签名识别结果为识别通过，以及所述有效性检测结果为签名有效，则所述客户签名检测结果为检测通过；根据所述客户确认检测结果及所述客户签名检测结果，生成双录数据质检结果；其中，若获知所述客户确认检测结果为检测通过，以及所述客户签名检测结果为检测通过，则所述双录数据质检结果为检查通过。10.一种双录数据质检装置，其特征在于，所述装置包括：数据获取模块，用于获取双录数据、电子签名信息及多个时间戳信息，并将所述双录数据分解为视频数据与音频数据；分段时间点模块，用于对所述音频数据进行语音识别，得到语音文本数据，并根据所述语音文本数据及预设的话术节点信息，确定所述双录数据对应的多个分段时间点；数据分段模块，用于对所述时间戳信息及所述分段时间点进行匹配，若匹配通过，则根据所述时间戳信息对所述视频数据与所述音频数据进行切分，得到分段后的视频数据及分段后的音频数据；视频数据模块，用于对分段后的视频数据进行确认动作检测及图片解析，得到确认动作检测结果及签名图片组，并对所述签名图片组进行识别，得到签名识别结果；音频数据模块，用于对分段后的音频数据进行语音识别，得到分段文本...

【专利技术属性】
技术研发人员：高伟，王亚新，刘金山，魏薇郦，
申请(专利权)人：中国工商银行股份有限公司，
类型：发明
国别省市：