【技术实现步骤摘要】
本专利技术涉及人工智能，具体涉及一种机器人草莓采摘拟人操作数据收集设备及其数据处理方法。
技术介绍
1、虽然自1998年以来，许多研究人员已经研究了草莓的机器人收获，设计了多种根据程序来进行自动化草莓采摘的机器人，但目前还没有商业化的草莓收获机器人系统。其中很重要的原因是农业机器人在进行草莓采摘时面临在复杂的非结构化生物环境下操作可形变操作对象，在这样充满刚柔混合障碍物并无法精准的操作空间下安全操作的是非常困难的。不仅要感知目标果实，还要感知整个复杂场景，充分理解叶子、蒸汽、果实、障碍物以及它们之间的空间关系，所有物体的物理性质也需要最终计算出一种策略，避免障碍物，推开杂乱的软物体，并到达目标果实茎上正上方花萼的精确采摘点。这在机器人各个方面都提出了巨大的挑战，包括场景理解、深度估计、轨迹规划和控制，这些都处于或超越了当前最先进的机器人系统的水平。然而，最近出现的新一代模仿学习方法，包括动作分块transformer(act)和扩散策略方法(dp)革命性地解决了机器人操纵的长期难题，该难题需要与非标准非刚性物体进行细粒度的视觉闭环交互。以前非常困难的机器人技能，如折叠衣服、穿线束、倒酱汁和在披萨面团上涂抹，现在可以通过学习人的示教操作来让机器人掌握复杂的技能，这也为通过模仿人类操作来让机器人学会草莓采摘提供了新的可能。
2、但是在这一类模仿学习的中，人的示教数据的获取至为关键，当前的业界和学术界一般通过孪生的机械臂进行数据收集，这样的数据收集装置具有和机械臂相同的尺寸和自由度，由人直接在现场进行遥操作来进行机器人操作
3、另一类的数据收集方法是通过vr设备进行遥操作，机器人示教员佩戴vr头显，通过vr设备识别人的手臂及手指(或者vr手柄)位姿并且映射到机器人的执行器姿态来收集机器人操作数据。这一类的遥操作数据收集系统具备体积小且可商品化的优点，但是其也存在着力反馈缺失、操作员空间感受与实际存在差距、只适配人形机器人的缺点，并且目前精度足够的vr设备价格依然很高(一般为apple vision pro)。
4、因此目前需要一套能够实现低成本、轻便且能够大规模在农业场景中收集能够提供给机器人学习的人工操作数据的收集装置。这套装置的目标是能够不与具体的机器人绑定，能够通过大批量的分发给草莓采摘工人，大量草莓采摘工人通过该设备实际的进行草莓采摘，采摘的操作数据在这个过程中被记录下来并且通过一系列的数据处理方法恢复成三维空间的机械臂执行器末端轨迹数据及执行器开度数据，从而使得这样的数据能够作为机器人模仿学习草莓采摘的可用数据，通过这种设备能够构建一个远大于当前模仿学习数据集所拥有数据数量级的机器人草莓采摘动作数据集，从而通过数据驱动让机器人学会草莓采摘操作。
技术实现思路
1、本专利技术目的在于通过创新的硬件和算法方案构建一套用于训练机器人进行草莓采摘作业的拟人模仿学习数据采集装置，该装置和对应算法的目标是能够低成本大规模的通过实际人工草莓采摘的工作收集并且处理产生大量三维空间的机械臂执行器末端轨迹数据及执行器开度数据作为机器人模仿学习草莓采摘的可用数据，从而驱动机器人具身智能算法训练。
2、基于上述的目的，本专利技术提供了一种机器人草莓采摘拟人操作数据收集设备，包括：安装平台；手持握把，设于所述安装平台的下方；
3、采摘执行器结构，设于所述安装平台的上方前端，包括一对伸出所述安装平台的采摘指，每个采摘指通过一个安装座与所述安装平台滑动连接，所述安装平台上设有两组滑轨，两个安装座上分别设有与其中一组滑轨配合的滑块；两个安装座各设有一个向下伸过所述安装平台的操作杆；每个安装座上还设有一个执行器开度定位辅助标签；
4、双目相机，设于所述安装平台上，所述双目相机的视场角度能够看到所述采摘指和执行器开度定位辅助标签；所述双目相机中内置惯性测量单元(imu)，用于采集惯性测量单元数据；
5、使用时，操作者手持所述手持握把，并通过操作杆控制两个采摘指移动，再由所述双目相机采集所述采摘指的开度和空间姿态信息。
6、本设备装备空间姿态传感器：1、双目相机；2、imu。imu内置在双目相机的内部，所以采集的初级数据为双目视频+imu数据，经过处理后获得的次级信息为：1.开度信息；2.空间位姿信息。
7、优选的，所述双目相机设于所述安装平台的上方后端。可以确保相机具有更好的视野来捕捉采摘指和执行器开度定位辅助标签的动态变化。这种布局有助于减少视野盲区，提高数据采集的准确性和完整性。
8、进一步地，所述双目相机通过双目相机安装座安装在所述安装平台上，所述双目相机安装座包括水平安装板和竖直安装板；
9、所述安装平台上设有第一固定螺孔，所述水平安装板上设有沿前后方向延伸的第一腰型孔，所述双目相机安装座通过穿过所述第一腰型孔并与所述第一固定螺孔配合的第一螺栓固定；
10、所述双目相机背面设有第二固定螺孔，所述竖直安装板上设有沿竖直方向延伸的第二腰型孔，所述双目相机安装座通过穿过所述第二腰型孔并与所述第二固定螺孔配合的第二螺栓固定。
11、上述设置提供了更大的灵活性和可调节性，通过腰型孔和螺栓的配合，可以方便地固定和调整双目相机的位置，同时保证安装的牢固性。这种设计既提供了灵活性，又确保了采集过程中的稳定性。
12、优选的，每组所述滑轨为一条，两条所述滑轨成线性排列成一排，并且两条所述滑轨相连在一起或两条之间具有间隔；
13、所述安装平台上还设有挡块，所述挡块位于两个安装座中间、用于对两个安装座在相互靠近方向进行限位，限制了采摘指过度靠近，防止了潜在的损坏或干扰。
14、优选的，两个所述操作杆位于所述手持握把的上前方，使用时，操作者单手手持所述手持握把并操作两个所述操作杆移动，提高了操作的便捷性和效率，使得数据采集过程更加流畅。
15、优选的，在本专利技术中所述安装平台上还设有用于将两个所述操作杆自动复位到相互远离位置的复位牛筋或复位弹簧，减少人工干预，提高了数据采集的连续性和效率。
16、优选的，每个所述安装座上具有一个向上伸出的标签设置板，所述标签设置板朝向所述双目相机一侧设有执行器开度定位辅助标签。
17、本专利技术所述机器人草莓采摘拟人操作数据收集设备还包括数据处理仪，所述数据处理仪通过数据线连接所述双目相机并存储双目相机采集到的信息。
18、本专利技术还提供了一种机器人草莓采摘拟人操作数据处理方法，使用所述机器人草莓采摘拟人操作数据收集设备来采集草莓采摘拟人操作数据，收集的数据处理获得两个所述采摘指的开度信息以及空间位姿信息，再加上所述双目相机采集的视频信息、imu数据信息，四本文档来自技高网...
【技术保护点】
1.一种机器人草莓采摘拟人操作数据收集设备，其特征在于，包括：
2.根据权利要求1所述机器人草莓采摘拟人操作数据收集设备，其特征在于，所述双目相机设于所述安装平台的上方后端。
3.根据权利要求2所述机器人草莓采摘拟人操作数据收集设备，其特征在于，所述双目相机通过双目相机安装座安装在所述安装平台上，所述双目相机安装座包括水平安装板和竖直安装板；
4.根据权利要求1所述机器人草莓采摘拟人操作数据收集设备，其特征在于，每组所述滑轨为一条，两条所述滑轨成线性排列成一排，并且两条所述滑轨相连在一起或两条之间具有间隔；
5.根据权利要求1所述机器人草莓采摘拟人操作数据收集设备，其特征在于，两个所述操作杆位于所述手持握把的上前方，使用时，操作者单手手持所述手持握把并操作两个所述操作杆移动。
6.根据权利要求5所述机器人草莓采摘拟人操作数据收集设备，其特征在于，所述安装平台上还设有用于将两个所述操作杆自动复位到相互远离位置的复位牛筋或复位弹簧。
7.根据权利要求1所述机器人草莓采摘拟人操作数据收集设备，其特征在于，每个所述安
8.根据权利要求1所述机器人草莓采摘拟人操作数据收集设备，其特征在于，还包括数据处理仪，所述数据处理仪通过数据线连接所述双目相机并存储双目相机采集到的信息。
9.一种机器人草莓采摘拟人操作数据处理方法，其特征在于，使用权利要求1～8任一项所述机器人草莓采摘拟人操作数据收集设备来采集草莓采摘拟人操作数据，收集的数据处理获得两个所述采摘指的开度信息以及空间位姿信息，再加上所述双目相机采集的视频信息、IMU数据信息，四方面数据信息均打上对应的时间戳后组成草莓采摘机器人训练所需要的数据。
...【技术特征摘要】
1.一种机器人草莓采摘拟人操作数据收集设备，其特征在于，包括：
2.根据权利要求1所述机器人草莓采摘拟人操作数据收集设备，其特征在于，所述双目相机设于所述安装平台的上方后端。
3.根据权利要求2所述机器人草莓采摘拟人操作数据收集设备，其特征在于，所述双目相机通过双目相机安装座安装在所述安装平台上，所述双目相机安装座包括水平安装板和竖直安装板；
4.根据权利要求1所述机器人草莓采摘拟人操作数据收集设备，其特征在于，每组所述滑轨为一条，两条所述滑轨成线性排列成一排，并且两条所述滑轨相连在一起或两条之间具有间隔；
5.根据权利要求1所述机器人草莓采摘拟人操作数据收集设备，其特征在于，两个所述操作杆位于所述手持握把的上前方，使用时，操作者单手手持所述手持握把并操作两个所述操作杆移动。
6.根据权利要求5所述机器人草莓采摘拟人操作数据收集设备...
【专利技术属性】
技术研发人员：费铮豪，陆文武，彭晨，应义斌，任国强，
申请(专利权)人：浙江大学杭州国际科创中心，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。