本发明专利技术公开了一种基于场景识别的机器人控制系统，包括：第一获取模块，用于获取机器人所在区域的场景图像；第一确定模块，用于对所述场景图像进行图像识别，确定第一场景信息；第二获取模块，用于获取机器人所在区域的音频信号；第二确定模块，用于对所述音频信号进行音频识别，确定第二场景信息；融合模块，用于对第一场景信息及第二场景信息进行信息融合，确定机器人所在区域的目标场景信息；构建模块，用于根据所述目标场景信息构建3D场景；第三确定模块，用于根据所述3D场景及预先构建的仿真模型进行仿真模拟，基于仿真模拟结果确定控制策略，并执行。提高了场景识别的准确性，进而提高基于场景识别确定的控制策略的准确性。高基于场景识别确定的控制策略的准确性。高基于场景识别确定的控制策略的准确性。
【技术实现步骤摘要】
一种基于场景识别的机器人控制系统
[0001]本专利技术涉及机器人控制
，特别涉及一种基于场景识别的机器人控制系统。
技术介绍
[0002]目前，随着机器人要求的不断提高，不能仅仅要求，机器人在某个单一场景下进行工作，需要机器人基于不同的场景，采取不同的控制策略，来进行不同场景下的工作。现有技术中，在确定机器人进行场景识别时，仅仅基于图像信号来进行识别，会导致对场景识别的不准确，进而导致确定的控制策略的不准确。
技术实现思路
[0003]本专利技术旨在至少一定程度上解决上述技术中的技术问题之一。为此，本专利技术的目的在于提出一种基于场景识别的机器人控制系统，提高了场景识别的准确性，进而提高基于场景识别确定的控制策略的准确性。
[0004]为达到上述目的，本专利技术实施例提出了一种基于场景识别的机器人控制系统，包括：
[0005]第一获取模块，用于获取机器人所在区域的场景图像；
[0006]第一确定模块，用于对所述场景图像进行图像识别，确定第一场景信息；
[0007]第二获取模块，用于获取机器人所在区域的音频信号；
[0008]第二确定模块，用于对所述音频信号进行音频识别，确定第二场景信息；
[0009]融合模块，用于对第一场景信息及第二场景信息进行信息融合，确定机器人所在区域的目标场景信息；
[0010]构建模块，用于根据所述目标场景信息构建3D场景；
[0011]第三确定模块，用于根据所述3D场景及预先构建的仿真模型进行仿真模拟，基于仿真模拟结果确定控制策略，并执行。
[0012]根据本专利技术的一些实施例，所述第一确定模块，包括：
[0013]标注模块，用于基于预设训练好的物体识别模型在场景图像中标注各个识别框，并确定每个识别框对应的物体；
[0014]判断模块，用于判断物体是否为预设的关键物体，将对应的物体为预设的关键物体的识别框确定为关键识别框；
[0015]分割模块，用于根据场景图像的大小及各个识别框，将场景图像分割为若干个子场景图像；其中，每个子场景图像中包括的识别框的数量在预设数量范围内且至少包括一个关键识别框；
[0016]识别模块，用于对若干个子场景图像进行图像识别，确定第一场景信息。
[0017]根据本专利技术的一些实施例，所述标注模块，包括：
[0018]标注子模块，用于基于预设训练好的物体识别模型在场景图像中标注各个识别
框；
[0019]处理子模块，用于基于物体识别模型中的卷积核对各个识别框进行卷积处理后，将卷积特征输入物体识别模型中的全连接网络进行通道连接处理，得到特征图；
[0020]匹配子模块，用于将所述特征图与预设数据库中的预设特征图进行匹配，将匹配度最高的预设特征图对应的物体确定为识别框对应的物体。
[0021]根据本专利技术的一些实施例，所述判断模块，包括：
[0022]第一确定子模块，用于确定物体的名称信息；
[0023]第二确定子模块，用于将名称信息与预设的关键物体的名称信息进行语义匹配，在确定匹配度大于预设阈值时，将对应的物体为预设的关键物体的识别框确定为关键识别框。
[0024]根据本专利技术的一些实施例，所述识别模块，包括：
[0025]第三确定子模块，用于确定每个子场景图像中识别框与关键识别框的关联关系，形成以关键识别框为核心的体系集合；
[0026]转化子模块，用于将所述体系集合基于转化模型进行转化，得到体系集合的特征值；
[0027]第四确定子模块，用于根据子场景图像中包括的关键识别框查询预设的关键识别框
‑
权重系数数据表，确定对应的权重系数；
[0028]第五确定子模块，用于根据子场景图像中体系集合的特征值及对应的权重系数，确定第一场景信息。
[0029]根据本专利技术的一些实施例，转化模型的训练方法，包括：
[0030]获取训练图像样本集，所述训练图像样本集中包含多个场景对应的训练图像；
[0031]确定每个训练图像中的样本体系集合及对应的样本特征值；
[0032]从所述训练图像样本集中随机选取训练图像，输入转化模型中进行转化，得到输出特征值；
[0033]根据样本特征值及输出特征值，通过损失函数对所述转化结果进行准确度检验，得到损失函数值；
[0034]基于所述损失函数值，通过反向传播算法对转化模型的参数进行训练，直至训练完成。
[0035]根据本专利技术的一些实施例，所述第五确定子模块，包括：
[0036]计算单元，用于将子场景图像中体系集合的特征值及对应的权重系数进行相乘计算，得到初步场景信息；对于包括2个及以上的初步场景信息的子场景图像，将多个初步场景信息进行信息融合，将融合结果作为子场景图像对应的子场景信息；
[0037]融合单元，用于根据若干个子场景图像对应的子场景信息再次进行信息融合，得到第一场景信息。
[0038]根据本专利技术的一些实施例，还包括图像预处理模块，用于在第一确定模块对所述场景图像进行图像识别前，对场景图像进行去除背景非均匀性噪声处理及光照归一化处理。
[0039]根据本专利技术的一些实施例，所述第二确定模块，包括：
[0040]提取模块，用于获取若干个音频场景片段，并进行分帧处理，提取每帧的频谱特
征，并构成频谱特征序列；对所述频谱特征序列进行一阶差分处理，得到Delta频谱特征；对所述频谱特征序列进行二阶差分处理，得到Double Delta频谱特征；将频谱特征、Delta频谱特征、Double Delta频谱特征作为一个特征集合，并进行时空Gabor滤波处理，得到Gabor特征集，构建音频特征训练集，并为每个音频场景片段标注场景标签；
[0041]训练模块，用于构建音频场景识别模型，将Gabor特征集输入音频场景识别模型中进行训练，基于输出结果与标注的场景标签的差异，不断调整音频场景识别模型的模型参数，直至输出结果与标注的场景标签一致，表示训练完成；
[0042]音频识别模块，用于将音频信号输入训练好的音频场景识别模型中，基于输出结果确定第二场景信息。
[0043]根据本专利技术的一些实施例，构建模块，包括：
[0044]设置模块，用于基于不同场景的样本JSON文件，设置不同场景需要的图像模型库及音频模型库；
[0045]解析模块，用于将目标场景信息转换为JSON数据，并生成相应的对象，在确定对象的类型为图像时，确定对象对应的第一目标字段；在确定对象的类型为音频时，确定对象对应的第二目标字段；
[0046]第四确定模块，用于：
[0047]根据所述第一目标字段与图像模型库中的预设图像模型的预设字段进行匹配，根据匹配结果，确定目标图像模型；
[0048]根据所述第二目标字段与音频模型库中的预设音频模型的预设字段进行匹配，根据匹配结果，确定目标音频模型；
[0049]根据目标图像模型及目标音频模本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种基于场景识别的机器人控制系统，其特征在于，包括：第一获取模块，用于获取机器人所在区域的场景图像；第一确定模块，用于对所述场景图像进行图像识别，确定第一场景信息；第二获取模块，用于获取机器人所在区域的音频信号；第二确定模块，用于对所述音频信号进行音频识别，确定第二场景信息；融合模块，用于对第一场景信息及第二场景信息进行信息融合，确定机器人所在区域的目标场景信息；构建模块，用于根据所述目标场景信息构建3D场景；第三确定模块，用于根据所述3D场景及预先构建的仿真模型进行仿真模拟，基于仿真模拟结果确定控制策略，并执行。2.如权利要求1所述的基于场景识别的机器人控制系统，其特征在于，所述第一确定模块，包括：标注模块，用于基于预设训练好的物体识别模型在场景图像中标注各个识别框，并确定每个识别框对应的物体；判断模块，用于判断物体是否为预设的关键物体，将对应的物体为预设的关键物体的识别框确定为关键识别框；分割模块，用于根据场景图像的大小及各个识别框，将场景图像分割为若干个子场景图像；其中，每个子场景图像中包括的识别框的数量在预设数量范围内且至少包括一个关键识别框；识别模块，用于对若干个子场景图像进行图像识别，确定第一场景信息。3.如权利要求2所述的基于场景识别的机器人控制系统，其特征在于，所述标注模块，包括：标注子模块，用于基于预设训练好的物体识别模型在场景图像中标注各个识别框；处理子模块，用于基于物体识别模型中的卷积核对各个识别框进行卷积处理后，将卷积特征输入物体识别模型中的全连接网络进行通道连接处理，得到特征图；匹配子模块，用于将所述特征图与预设数据库中的预设特征图进行匹配，将匹配度最高的预设特征图对应的物体确定为识别框对应的物体。4.如权利要求2所述的基于场景识别的机器人控制系统，其特征在于，所述判断模块，包括：第一确定子模块，用于确定物体的名称信息；第二确定子模块，用于将名称信息与预设的关键物体的名称信息进行语义匹配，在确定匹配度大于预设阈值时，将对应的物体为预设的关键物体的识别框确定为关键识别框。5.如权利要求2所述的基于场景识别的机器人控制系统，其特征在于，所述识别模块，包括：第三确定子模块，用于确定每个子场景图像中识别框与关键识别框的关联关系，形成以关键识别框为核心的体系集合；转化子模块，用于将所述体系集合基于转化模型进行转化，得到体系集合的特征值；第四确定子模块，用于根据子场景图像中包括的关键识别框查询预设的关键识别框
‑
权重系数数据表，确定对应的权重系数；
第五确定子模块，用于根据子场景图像中体系集合的特征值及对应的权重系数，确定第一场景信息。6.如权利要求5所述的基于场景识别的机器人控制系统，其特征在于，转化模型的训练方法，包括：获取训练图像样本集，所述训练...
【专利技术属性】
技术研发人员：巫飞彪，张少华，
申请(专利权)人：广州东焊智能装备有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。