一种移动式摄影机器人制造技术

本发明专利技术公开一种移动式摄影机器人，涉及移动摄影技术领域，该机器人包括：相机，用于对图像和视频流进行获取；图像检测模块，用于对所述相机获取的图像进行目标识别，获得目标识别结果，所述目标识别结果包括至少一个目标框；图像追踪模块，用于确定所述目标识别结果中各目标框的追踪信息，所述追踪信息包括目标框的ID和中心坐标；用户界面，用于显示各所述目标框的所述追踪信息，从各所述目标框中选择追踪目标，还用于确定目标参考到达位置；大语言模型，用于根据所述追踪目标的追踪信息生成决策指令；机械臂，用于搭载所述相机，并根据所述决策指令进行运动；移动平台用于搭载机械臂，并根据决策指令进行运动。本发明专利技术提高了移动摄影的灵活性。的灵活性。的灵活性。

【技术实现步骤摘要】
一种移动式摄影机器人


[0001]本专利技术涉及摄影
，特别是涉及一种移动式摄影机器人。

技术介绍

[0002]传统的摄影相机，通常需要依靠人为操作调整高度角度、在移动摄影器材时还需要依赖路轨，随着对机器人的智能化的功能的研究的加深，人们会赋予机器人更多、更实用的功能，如机器人自动跟随人体并对人体进行实时拍摄。目前，移动式摄影机器人的移动不能根据用户需求进行及时调整。

技术实现思路

[0003]本专利技术的目的是提供一种移动式摄影机器人，提高了移动摄影的灵活性。
[0004]为实现上述目的，本专利技术提供了如下方案：
[0005]一种移动式摄影机器人，包括：相机、图像检测模块、图像追踪模块、用户界面、语音识别模块、大语言模型、机械臂和移动平台；
[0006]相机，用于对图像和视频流进行获取；
[0007]图像检测模块，用于对所述相机获取的图像或者所述视频流中图像进行目标识别，获得目标识别结果，所述目标识别结果包括至少一个目标框和各目标框对应的物体类别；
[0008]图像追踪模块，用于确定所述目标识别结果中各目标框的追踪信息，所述追踪信息包括目标框的ID和中心坐标；
[0009]用户界面，用于显示各所述目标框的所述追踪信息，从各所述目标框中选择追踪目标，还用于确定目标参考到达位置；
[0010]语音识别模块，用于接收语音信息，并将所述语音信息转换为文字，将转换得到的文字作为用户指令；
[0011]大语言模型，用于根据画面信息、所述用户指令和机器人状态信息生成决策指令；所述画面信息包括所述图像检测模块的识别结果、所述追踪信息以及所述相机与所述追踪目标的距离；所述决策指令包括所述相机与所述追踪目标的期望角度，以及所述相机与所述追踪目标的期望距离；所述机器人状态信息包括移动平台的空间坐标和机械臂的关节角度；
[0012]机械臂，用于搭载所述相机，并根据所述决策指令调整所述相机与所述追踪目标的角度；
[0013]移动平台，用于搭载所述机械臂，并根据所述决策指令调整所述相机与所述追踪目标的距离。
[0014]可选地，所述图像检测模块包括目标识别模型，所述目标识别模型是根据训练集对yolov5网络进行训练得到的，所述训练集中样本数据包括输入数据和标签数据，所述输入数据为包含多个样本目标的图像，标签数据为各样本目标对应的目标框和各目标框对应
的物体类别；所述样本目标包括人物。
[0015]可选地，所述用户界面还用于输入用户需求信息，所述用户需求信息包括拍摄模式和对拍摄风格的要求；所述拍摄模式包括拍照模式和录像模式。
[0016]可选地，还包括相机参数控制模块；所述决策指令还包括所述相机参数的期望值；
[0017]所述相机参数控制模块用于根据所述相机参数的期望值对所述相机参数进行调整；所述相机参数包括曝光度、对比度、饱和度和套用所预设的LUT。
[0018]可选地，还包括相机位置控制模块，所述相机位置控制模块用于采用PID控制系统，根据当前时刻追踪目标的中心坐标、所述目标参考到达位置和下一时刻的中心坐标对所述机械臂进行反馈运动控制；
[0019]所述画面信息还包括相机与追踪目标的距离；所述相机位置控制模块还用于根据当前时刻追踪目标的中心坐标、所述目标参考到达位置和下一时刻的中心坐标对所述移动平台进行反馈运动控制。
[0020]可选地，还包括数据转译模块，所述数据转译模块用于将所述画面信息和所述机器人状态信息进行数据包封装，将封装后的数据包发送到所述大语言模型；所述数据包的格式包括json。
[0021]可选地，在根据画面信息、所述用户指令和机器人状态信息生成决策指令方面，所述大语言模型用于根据画面信息、所述用户指令和机器人状态信息生成拍摄动作规划和相机参数调整，并根据拍摄动作规划和相机参数采用迭代的方式生成运动代码；所述运动代码用于控制所述机械臂或者所述移动平台运动。
[0022]可选地，在采用迭代的方式生成运动代码方面，所述大语言模型用于：
[0023]每次迭代时，根据所述画面信息、所述用户指令和机器人状态信息生成运动代码，执行当前生成的运动代码，若输出运动代码报错信息，则根据当前运动代码和当前运动代码报错信息重新生成运动代码，直到生成的运动代码不报错。
[0024]可选地，所述大语言模型包括ChatGPT。
[0025]根据本专利技术提供的具体实施例，本专利技术公开了以下技术效果：
[0026]本专利技术一种移动式摄影机器人通过用户界面选择追踪目标，利用大语言模型生成决策指令，从而控制搭载相机的机械臂和移动平台进行运动，提高了移动摄影的灵活性和智能化。
附图说明
[0027]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0028]图1为本专利技术一种移动式摄影机器人结构示意图；
[0029]图2为本专利技术一种移动式摄影机器人硬件结构示意图。
[0030]符号说明：100
‑
相机；200
‑
机械臂；300
‑
移动平台。
具体实施方式
[0031]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0032]本专利技术的目的是提供一种移动式摄影机器人，提高了移动摄影的灵活性。
[0033]为使本专利技术的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本专利技术作进一步详细的说明。
[0034]如图1所示，本专利技术公开了一种移动式摄影机器人，包括依次连接的相机、图像检测模块、图像追踪模块、用户界面、大语言模型、机械臂和移动平台。
[0035]相机，用于对图像和视频流进行获取。
[0036]图像检测模块，用于对所述相机获取的图像或者所述视频流中图像进行目标识别，获得目标识别结果，所述目标识别结果包括至少一个目标框和各目标框对应的物体类别。
[0037]图像追踪模块，用于确定所述目标识别结果中各目标框的追踪信息，所述追踪信息包括目标框的ID和中心坐标。
[0038]用户界面，用于显示各所述目标框的所述追踪信息，从各所述目标框中基于ID选择追踪目标，还用于确定目标参考到达位置。
[0039]追踪信息还包括景深、在画面中所占面积和追踪目标与相机之间的距离。
[0040]语音识别模块，用于接收语音信息，并将所述语音信息转换为文字，将转换得到的文字作为用户指令。
[0041]大语言模型，用于根据画面信本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种移动式摄影机器人，其特征在于，包括：相机、图像检测模块、图像追踪模块、用户界面、语音识别模块、大语言模型、机械臂和移动平台；相机，用于对图像和视频流进行获取；图像检测模块，用于对所述相机获取的图像或者所述视频流中图像进行目标识别，获得目标识别结果，所述目标识别结果包括至少一个目标框和各目标框对应的物体类别；图像追踪模块，用于确定所述目标识别结果中各目标框的追踪信息，所述追踪信息包括目标框的ID和中心坐标；用户界面，用于显示各所述目标框的所述追踪信息，从各所述目标框中选择追踪目标，还用于确定目标参考到达位置；语音识别模块，用于接收语音信息，并将所述语音信息转换为文字，将转换得到的文字作为用户指令；大语言模型，用于根据画面信息、所述用户指令和机器人状态信息生成决策指令；所述画面信息包括所述图像检测模块的识别结果、所述追踪信息以及所述相机与所述追踪目标的距离；所述决策指令包括所述相机与所述追踪目标的期望角度，以及所述相机与所述追踪目标的期望距离；所述机器人状态信息包括移动平台的空间坐标和机械臂的关节角度；机械臂，用于搭载所述相机，并根据所述决策指令调整所述相机与所述追踪目标的角度；移动平台，用于搭载所述机械臂，并根据所述决策指令调整所述相机与所述追踪目标的距离。2.根据权利要求1所述的移动式摄影机器人，其特征在于，所述图像检测模块包括目标识别模型，所述目标识别模型是根据训练集对yolov5网络进行训练得到的，所述训练集中样本数据包括输入数据和标签数据，所述输入数据为包含多个样本目标的图像，标签数据为各样本目标对应的目标框和各目标框对应的物体类别；所述样本目标包括人物。3.根据权利要求1所述的移动式摄影机器人，其特征在于，所述用户界面还用于输入用户需求信息，所述用户需求信息包括拍摄模式和对拍摄风格的要求；所述拍摄模式包括拍照模式和录像模式...

【专利技术属性】
技术研发人员：朱国牛，包泽宇，谈金林，王邵丰，丁文超，管宇翔，甘中学，白卫邦，
申请(专利权)人：复旦大学，
类型：发明
国别省市：