一种基于视听协同的麻将机器人系统及其使用方法技术方案

本发明专利技术公开了一种基于视听协同的麻将机器人系统及其使用方法，使用一台RGB相机采集RGB图片，一个麦克风采集语音信息，并采用视听信息结合的方式，代替人眼和人耳进行牌局场景的感知和数据采集。使用所属玩家判断模块、记牌器模块、打牌决策模块、图片预处理模块等模块紧密结合的方式，代替人脑做数据处理，总体而言，具有智能程度高、硬件成本低、占用空间小、感知无遗漏的优点。感知无遗漏的优点。感知无遗漏的优点。

【技术实现步骤摘要】
一种基于视听协同的麻将机器人系统及其使用方法


[0001]本专利技术属于人工智能与机器人
，具体涉及一种基于视听协同的麻将机器人系统及其使用方法。

技术介绍

[0002]随着中国制造业的快速发展，“工业4.0”和“中国制造2025”等概念深入人心，制造业向智能自动化发展已是必然趋势。作为工业、农业、国防和科学技术现代化的重要条件和显著标志的自动化技术也要向智能自动化方向发展。但是目前智能自动化没有形成完整成熟的系统，仍处于研究阶段，公司和高校都迫切需要可以进行实验学习和验证的智能自动化系统作为研究对象。
[0003]目前在计算机智能对弈领域中，常见的是国际象棋智能机器人、围棋智能机器人等，麻将领域的决策网络很少，而且需要真人进行场景认知识别以及实际操作，没有完整复现真实场景下的对弈，真正使用感知系统和机械臂完全代替人类打麻将的研究还未有人做过。
[0004]其次，目前的麻将花色分类算法采用模板匹配法，其分类准确度常受限于复杂的环境，抗扰动性差。
[0005]另外，现有的复杂环境下的小物体位姿估计算法通常需要使用点云网络模型，点云网络模型具有复杂且计算臃肿的特点，不利于实际使用。
[0006]因此，一种基于视听协同的、高智能的、实时反应的、识别准确度高及牌局感知的智能打麻将机器人系统的研究具有重要意义。

技术实现思路

[0007]针对现有技术中的上述不足，本专利技术提供的基于视听协同的麻将机器人系统及其工作方法解决了上述
技术介绍
中的问题。
[0008]为了达到上述专利技术目的，本专利技术采用的技术方案为：一种基于视听协同的麻将机器人系统，包括：模型训练模块，用于搭建并训练麻将机器人系统工作过程中所涉及的所有人工智能模型；信息存储模块，用于进行各个模块之间的各类型数据的存储和分发；视听感知模块，用于调用视觉和听觉模型，输出麻将牌信息；所属玩家判断模块，用于识别麻将牌所属玩家信息；记牌器模块，用于存储麻将对弈过程中的麻将牌决策信息；打牌决策模块，用于执行打牌决策，确定待抓取麻将牌；图片预处理模块，用于处理待抓取麻将牌像素信息；位姿估计模块，用于确定待抓取麻将牌的位姿数据；坐标转换模块，用于确定待抓取麻将牌的位置数据，为机械臂抓取麻将牌提供位
置参考；以及机械臂抓取模块，用于将麻将牌抓取到指定位置。
[0009]进一步地，所述人工智能模型包括麻将牌花色分类模型、麻将牌3D特征点估计模型、视听模型、打牌决策模型以及碰杠胡决策模型；其中，麻将牌花色分类模型用于识别麻将牌的花色，其部署于视听感知模块；麻将牌3D特征点估计模型用于确定麻将牌的位姿信息，其部署于位姿估计模块；视听模型用于识别玩家的出牌决策信息，其部署于视听感知模块；打牌决策模型用于确定麻将机器人系统的麻将出牌决策，其部署于打牌决策模块；碰杠胡决策模型用于确定麻将机器人的碰牌、杠牌或胡牌决策，其部署于打牌决策模块。
[0010]所述信息存储模块存储的各类型数据包括记牌数据、决策参考数据以及位姿数据；其中，记牌数据包括时间信息、出牌、碰牌、杠牌、胡牌以及所属玩家信息，决策参考数据包括场牌信息和己方手牌信息，位姿数据包括机械臂坐标系中的麻将牌位姿信息和相机坐标系中的麻将牌位姿信息；所述视听感知模块输出的麻将牌信息包括麻将牌类型、麻将牌花色以及实时出牌、碰杠胡牌信息。
[0011]一种麻将机器人系统工作方法，包括以下步骤：S1、预先训练麻将牌花色分类模型及麻将牌3D特征点估计模型；S2、牌局开始，采集当前牌面图片，并通过麻将牌花色分类模型确定图片中所有麻将牌的花色种类；S3、对当前牌面图片进行麻将牌类型区域划分；其中，划分结果包括已方手牌、上家手牌、下家手牌、对家手牌、已方场牌、上家场牌、下家场牌、对家场牌和牌池；S4、实时采集牌局当前麻将决策信息；其中，麻将决策信息包括出牌、碰牌、杠牌和胡牌信息；S5、在获取麻将决策信息过程中，根据麻将牌花色分类模型及麻将决策信息所属类型区域，确定其所属玩家；S6、通过记牌器模块记录当前麻将牌决策信息、所属玩家及时间信息；S7、根据记牌器模块当前记录的信息、己方手牌以及场牌信息，执行训练好的出牌决策模型和碰杠胡决策模型，判断是否胡牌；若是，则进入步骤S13；若否，则进入步骤S8；S8、选择抓取麻将牌，并确定待抓取麻将牌的花色及位置；S9、确定待抓取麻将牌的图片；S10、基于带抓取麻将牌的图片，调用麻将牌3D特征点估计模型确定待抓取麻将牌在相机坐标系下的位姿数据；S11、对待抓取麻将牌的位姿数据进行坐标系转换，确定机械臂坐标下的待抓取麻将牌的位置数据；S12、根据待抓取麻将牌的位置数据，控制机械臂抓取模块抓取麻将牌至指定位置，返回步骤S4；
S13、结束本局麻将对弈。
[0012]进一步地，所述步骤S1中的麻将牌花色分类模型为基于YOLOv5目标检测网络模型的改进模型；其中，麻将牌花色分类模型中Head网络中的边界框损失函数为CIOU_Loss损失函数，其表达式为：式中，为衡量预测边框与真实边框的重叠程度的值，为正的权重参数，为衡量边界框长宽比一致性的参数，为预测边框的中心坐标值，为真实边框的中心坐标值，为预测边框与真实边框的最小重叠框的对角线长度值，用来计算两中心坐标值的欧氏空间距离；麻将牌花色分类模型Head网络中的加权NMS标准为DIOU_nms标准，其选择最优预测框的公式为：式中，是分类置信度，为非极大值抑制的阈值，为具有最高分类置信度的边框，为包含所有待检测边框的列表中的第个边框，用来计算边框和边框对中心点距离的惩罚项。
[0013]进一步地，所述步骤S1中的3D特征点估计模型包括依次连接的特征提取层、金字塔池化网络和多阶卷积块；其中，金字塔池化网络和多阶卷积块中的卷积为深度可分离卷积；所述特征提取层采用Res2Net特征估计网络的前三层作为3D特征点估计模型的前馈网络提取图片的多尺度特征，每部分特征的输出为：式中，为1*1卷积输出后的第i个通道的特征图，为3*3卷积操作，s为对1*1卷积输出后的特征图按通道数均为特征图数量；所述金字塔池网络包括依次连接的全局池、2
×
2金字塔池、3
×
3金字塔池和6
×
6金字塔池；所述多阶卷积块提取特征提取层提取的多尺度特征的关键点和麻将块中实际9个3D特征点之间的方向向量场。
[0014]进一步地，所述步骤S4具体为：S41、采集牌局过程中的语音信息，并确定其中文词语对应的拼音字符串a[]；S42、构建打麻将全过程的中文拼音库数组库集B={[]},[]为字符串元素，i
为字符串元素序号；S43、使用拼音字符串相似度匹配算法对拼音字符串对应数组a[]与中文拼音库数组集合中的[]进行相似度匹配，确定最佳匹配结果字符串[]及其对应的词语信息message，进而确定当前麻将决策信息。
[0015]进一步地，所述步骤S43中，相似度匹配过程的计算公式为：进一步地，所述步骤S43中，相似度匹配过程的计算公式为：进一步地，所述步骤S43中，相似度匹配过程的计算公式本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于视听协同的麻将机器人系统，其特征在于，包括：模型训练模块，用于搭建并训练麻将机器人系统工作过程中所涉及的所有人工智能模型；信息存储模块，用于进行各个模块之间的各类型数据的存储和分发；视听感知模块，用于调用视觉和听觉模型，输出麻将牌信息；所属玩家判断模块，用于识别麻将牌所属玩家信息；记牌器模块，用于存储麻将对弈过程中的麻将牌决策信息；打牌决策模块，用于执行打牌决策，确定待抓取麻将牌；图片预处理模块，用于处理待抓取麻将牌像素信息；位姿估计模块，用于确定待抓取麻将牌的位姿数据；坐标转换模块，用于确定待抓取麻将牌的位置数据，为机械臂抓取麻将牌提供位置参考；以及机械臂抓取模块，用于将麻将牌抓取到指定位置。2.根据权利要求1所述的基于视听协同的麻将机器人系统，其特征在于，所述人工智能模型包括麻将牌花色分类模型、麻将牌3D特征点估计模型、视听模型、打牌决策模型以及碰杠胡决策模型；其中，麻将牌花色分类模型用于识别麻将牌的花色，其部署于视听感知模块；麻将牌3D特征点估计模型用于确定麻将牌的位姿信息，其部署于位姿估计模块；视听模型用于识别玩家的出牌决策信息，其部署于视听感知模块；打牌决策模型用于确定麻将机器人系统的麻将出牌决策，其部署于打牌决策模块；碰杠胡决策模型用于确定麻将机器人的碰牌、杠牌或胡牌决策，其部署于打牌决策模块；所述信息存储模块存储的各类型数据包括记牌数据、决策参考数据以及位姿数据；其中，记牌数据包括时间信息、出牌、碰牌、杠牌、胡牌以及所属玩家信息，决策参考数据包括场牌信息和己方手牌信息，位姿数据包括机械臂坐标系中的麻将牌位姿信息和相机坐标系中的麻将牌位姿信息；所述视听感知模块输出的麻将牌信息包括麻将牌类型、麻将牌花色以及实时出牌、碰杠胡牌信息。3.一种基于权利要求1~2任一权利要求所述的基于视听协同的麻将机器人系统的麻将机器人系统工作方法，其特征在于，包括以下步骤：S1、预先训练麻将牌花色分类模型及麻将牌3D特征点估计模型；S2、牌局开始，采集当前牌面图片，并通过麻将牌花色分类模型确定图片中所有麻将牌的花色种类；S3、对当前牌面图片进行麻将牌类型区域划分；其中，划分结果包括已方手牌、上家手牌、下家手牌、对家手牌、已方场牌、上家场牌、下家场牌、对家场牌和牌池；S4、实时采集牌局当前麻将决策信息；其中，麻将决策信息包括出牌、碰牌、杠牌和胡牌信息；S5、在获取麻将决策信息过程中，根据麻将牌花色分类模型及麻将决策信息所属类型区域，确定其所属玩家；
S6、通过记牌器模块记录当前麻将牌决策信息、所属玩家及时间信息；S7、根据记牌器模块当前记录的信息、己方手牌以及场牌信息，执行训练好的出牌决策模型和碰杠胡决策模型，判断是否胡牌；若是，则进入步骤S13；若否，则进入步骤S8；S8、选择抓取麻将牌，并确定待抓取麻将牌的花色及位置；S9、确定待抓取麻将牌的图片；S10、基于带抓取麻将牌的图片，调用麻将牌3D特征点估计模型确定待抓取麻将牌在相机坐标系下的位姿数据；S11、对待抓取麻将牌的位姿数据进行坐标系转换，确定机械臂坐标下的待抓取麻将牌的位置数据；S12、根据待抓取麻将牌的位置数据，控制机械臂抓取模块抓取麻将牌至指定位置，返回步骤S4；S13、结束本局麻将对弈。4.根据权利要求3所述的麻将机器人系统工作方法，其特征在于，所述步骤S1中的麻将牌花色分类模型为基于YOLOv5目标检测网络模型的改进模型；其中，麻将牌花色分类模型中Head网络中的边界框损失函数为CIOU_Loss损失函数，其表达式为：式中，为衡量预测边框与真实边框的重叠程度的值，为正的权重参数，为衡量边界框长宽比一致性的参数，为预测边框的中心坐标值，为真实边框的中心坐标值，为预测边框与真实边框的最小重叠框的对角线长度值，用来计算两中心坐标值的欧氏空间距离；麻将牌花色分类模型Head网络中的加权NMS标准为DIOU_nms标准，其选择最优预测框的公式为：式中，是分类置信度，为...

【专利技术属性】
技术研发人员：苟先太，顾凡，魏峰，曾开心，蒋晓凤，程丽红，苟瀚文，
申请(专利权)人：西南交通大学，
类型：发明
国别省市：