随机料箱抓取:视觉、路径规划和位姿估计如何协同工作

发布日期

在工厂车间,历史上很少有任务像伸手进入装满随机方向零件的料箱并取出一个那样顽固地抗拒自动化。人类工人可以毫不费力地完成这项工作,依靠眼睛、直觉和多年经验积累的精细运动控制。然而,对于机器人来说,随机料箱抓取代表了工业自动化中技术要求最高的挑战之一——需要3D视觉、位姿估计和智能路径规划的精确融合,才能以生产速度可靠地工作。

随着制造企业向全自主物料处理和数字化工厂转型迈进,随机料箱抓取已从实验性实验室技术发展为可部署、可扩展的解决方案。当与自主移动机器人和智能仓库系统集成时,它成为端到端物流自动化的基石能力。本文详细分析了每个技术层——视觉、位姿估计和路径规划——如何为工作的料箱抓取系统做出贡献,以及这些系统如何融入更广泛的工业机器人生态系统。

工业机器人深度解析

随机料箱抓取

视觉、路径规划与位姿估计如何协同工作

将工业自动化最艰巨的挑战之一转化为可部署、可扩展的解决方案

什么是随机料箱抓取?

机器人识别、抓取和提取单个物体的过程,识别、抓取和提取从物品没有预定排列的容器中——重叠、部分隐藏、任意角度旋转以及不可预测深度堆叠。

🏭

关键优势

全天24小时运行,全天24小时以一致的精度运行——消除疲劳和变异性

三大核心技术支柱

👁️
第一步

3D视觉系统

结构光相机、飞行时间传感器和立体视觉生成密集的3D点云料箱内容物的

📐
第二步

位姿估计

确定每个候选物体的精确六自由度位姿——位置(X, Y, Z)和方向(翻滚角、俯仰角、偏航角)

🦾
第三步

路径规划

在配置空间中规划无碰撞轨迹,配置空间使用RRT/PRM算法实现安全可靠的抓取

位姿估计方法

🗂️

基于模型

通过ICP或模板匹配将点云与3D CAD模型进行比较。对于刚性的已知零件高度精确。

🧠

基于学习

神经网络直接从传感器数据预测位姿——无需CAD模型。对于多样化的零件更加灵活。

混合方法(最佳实践)

深度学习用于粗略位姿→ ICP精化达到毫米级精度。生产标准。

系统性能因素

6
自由度
每个物体位姿
3D
点云
场景映射
全天候
持续
可运行
毫秒
检测周期
速度目标

常见挑战与解决方案

💡

反光零件

使用偏振照明、多波长传感或捕获期间进行哑光涂层处理

🔍

高零件相似性

在合成数据集上进行深度学习以捕获全局形状上下文

📦

料箱边缘效应

多相机视角或动态相机重新定位

🔄

抓取失败

快速重新规划周期、力/力矩传感和统计监控

行业应用

🚗

汽车

螺栓、支架和冲压金属件

💻

电子

PCB组件和连接器

🥫

食品饮料

可变形和不规则物品

💊

制药

可追溯性和质量检验

📦

电子商务

高SKU履约系统

完整的自动化生态系统

🏗️

散装存储

自主叉车

🤖

运输

AMR车队配送

🦾

料箱抓取

机械臂 + 视觉

输出

分拣与发货

由中央车队管理平台协调——零人工干预贯穿整个物料流程

五大要点

1

3D视觉是基础——点云质量直接决定了抓取周期中后续所有环节的精度。

2

混合位姿估计取胜——将深度学习用于粗略位姿与ICP精化相结合,实现毫米级生产精度。

3

闭环恢复至关重要——生产级系统必须检测失败并在无需人工干预的情况下重新规划,以维持吞吐量。

4

AMR集成倍增投资回报率——料箱抓取单元与自主移动机器人配对,创建真正的端到端自动化物料流。

5

深度学习驱动鲁棒性——在合成数据上训练的神经网络在处理遮挡、零件相似性和新的料箱配置方面远优于纯几何方法。

瑞曼机器人

人工智能驱动的自主移动机器人与工业自动化 · reemanbot.com

什么是随机料箱抓取?

随机料箱抓取是指机器人识别、抓取和提取容器中单个物体的过程,这些物品没有预定的排列方式。与结构化抓取(零件以固定方向到达传送带)不同,随机料箱抓取必须处理重叠、部分隐藏、任意角度旋转和不可预测深度堆叠的物体。系统不能假设任何关于物体位置的先验知识;它必须发现在每个周期中重新获取该信息。

这一能力在汽车零部件装配、电子制造、食品加工和仓库订单履行中至关重要,因为这些领域手动上料成本高且易出错。其吸引力显而易见:一个实施良好的料箱抓取单元可以全天24小时以一致的精度运行,消除了人工拣选的疲劳和变异性。但实现这种一致性需要三个深度集成的子系统协同工作——视觉、位姿估计和路径规划。

3D视觉系统的作用

该过程从感知开始。随机料箱抓取系统需要看到料箱中内容物的三维信息,而不仅仅是捕获平面的2D图像。标准相机无法可靠地确定深度,因此无法知道零件是位于堆顶部还是埋在其他物体下面。因此,现代料箱抓取系统依赖于3D视觉传感器例如结构光相机、飞行时间传感器或立体视觉设备,它们生成料箱内容物的密集点云。

点云本质上是场景的三维地图,每个数据点携带X、Y、Z坐标信息。从这张地图中,视觉系统从零件群中分割出单个物体,识别候选抓取目标,并确定哪些物品是可触及且无碰撞风险的。点云的质量和分辨率直接影响后续所有工作——糟糕的深度数据会导致不准确的位姿估计和失败的抓取尝试。高性能系统结合多种传感模式或使用多次曝光结构光模式来填充阴影区域并减少噪声,特别是在处理光学上有挑战的光泽或深色零件时。

过去几年中,深度学习显著推进了视觉层。在合成或真实数据集上训练的卷积神经网络现在可以在严重遮挡下识别物体,区分视觉上相似的零件,甚至可以泛化到未见过的物体配置。这种从纯几何匹配到学习特征识别的转变,使料箱抓取系统在各种产品类型和料箱几何形状中更加鲁棒。

位姿估计:识别物体位置和方向

一旦视觉系统生成点云并识别出候选物体,下一个挑战是确定每个物品的精确六自由度位姿——其在三维空间中的位置(X, Y, Z)和方向(表示为三个旋转角度:翻滚角、俯仰角、偏航角)。这就是位姿估计要解决的问题。没有准确的位姿数据,机械臂就没有可靠的基础来计算将夹爪定位在哪里或以什么角度接近零件。

位姿估计技术大致分为两类。基于模型的方法将观察到的点云或图像与目标物体的预建3D CAD模型进行比较,通过迭代最近点(ICP)或特征空间中的模板匹配等算法找到最佳几何对齐。这些方法对于刚性的已知零件非常精确,但需要系统中每种物体类型的详细模型。无模型或基于学习的方法相比之下,使用神经网络直接从传感器数据预测位姿,无需显式CAD几何,使它们在零件多样化或频繁变化的环境中更加灵活。

在实践中,许多生产系统使用混合方法:深度学习模型提供粗略的初始位姿假设,然后使用几何ICP式对齐步骤进行精化,达到毫米级精度。输出——描述物体在机器人坐标系中位置的精确变换矩阵——然后传递给路径规划系统。整个检测和估计周期通常必须在几分之一秒内完成,以跟上生产吞吐量的要求。

路径规划:从检测到抓取

有了确认的物体位姿,系统现在必须计算机械臂应如何移动以到达目标、安全抓取并将其从料箱中取出,而不碰撞料箱壁、相邻零件或任何其他障碍物。这是运动路径规划的领域,在料箱这个狭窄、杂乱的环境中,它远比简单地将机械臂从A点移动到B点复杂得多。

料箱抓取的路径规划器在配置空间——机械臂所有可能关节角度组合的多维空间。它们不是规划直线笛卡尔轨迹,而是在配置空间中搜索无碰撞的关节位置序列,将夹爪从其当前位置移动到目标抓取位姿。基于采样的规划器,如RRT(快速探索随机树)和PRM(概率路线图方法)被广泛使用,因为它们能高效处理高维空间和复杂的障碍物几何形状。

此过程中的一个关键子问题是抓取位姿选择——不仅选择抓取哪个物体,还要选择哪些具体的接触点和夹爪方向能够产生稳定可靠的抓取。系统评估多个抓取候选,按可达性、稳定性和碰撞风险排序,然后选择最可能成功的一个。如果第一次抓取尝试失败,系统会优雅地恢复:重新扫描料箱,更新对场景的理解,并规划新的方法。这种闭环恢复行为是生产级料箱抓取系统与实验室原型机的区别所在。

将料箱抓取与移动机器人集成

能够从料箱中抓取的机械臂本身就很强大,但当它集成到更广泛的自主物料流中时,其影响会成倍增加。在现代智能工厂和仓库中,料箱抓取单元越来越多地与自主移动机器人(AMR)配对,这些AMR处理物料的上游和下游移动——将满料箱运送到抓取站,并将分拣或装配好的零件运输到下一个工艺步骤。

瑞曼的自主移动平台系列非常适合提供这一功能。IronBov潜伏式运输机器人例如,可以自主地在仓库地面间取送料箱,与固定抓取站协调,保持工作流程无需人工干预。类似地,Ironhide自主叉车可以处理更重的物流任务,将整托盘料箱或散装容器移动到上料位置,弥合大规模存储与抓取单元精细操作之间的差距。

AMR车队与料箱抓取系统之间的连接通过中央仓库管理或车队管理平台进行管理,该平台协调任务分配、路线规划和站点占用。这个编排层确保抓取站永远不会缺少零件,并且成品输出被及时收集,维持机器人抓取带来的吞吐量增益。瑞曼的机器人平台在设计时考虑了开放集成,使其与端到端料箱抓取工作流所需的多系统自动化架构兼容。

常见挑战及现代系统如何解决

尽管取得了令人瞩目的进展,随机料箱抓取仍然存在需要精心系统设计的工程挑战。理解这些挑战以及用于解决它们的技术,有助于运营团队设定现实的期望并做出明智的部署决策。

反光和透明零件会以产生点云数据间隙和噪声的方式散射或透射结构光。解决方案包括偏振照明、多波长传感,或在视觉捕获期间对零件施加临时哑光涂层。高零件相似性——许多相同部件密集地堆放在一起——对依赖独特局部几何特征的位姿估计器构成挑战。在大型合成数据集上训练的深度学习模型在这些条件下表现更好,因为它们学习全局形状上下文,而不是仅依赖局部表面特征。

料箱边缘效应当靠近箱壁的零件被部分遮挡或传感器无法在角落捕获准确深度数据时发生。先进系统通过使用多个相机视角,或通过编程让机器人偶尔重新定位相机以获得困难区域的新视角来解决。抓取失败率是另一个现实问题——没有系统能达到100%首次尝试成功。生产级系统通过快速重新规划周期、夹爪中的力/力矩传感以检测滑移,以及标记系统性问题供人工审查的统计监控来弥补。

随机料箱抓取的行业应用

当今部署随机料箱抓取的行业涵盖了广泛的制造和物流场景,每个场景对速度、精度和零件多样性都有独特的要求。

  • 汽车制造:螺栓、支架和冲压金属件以散装料箱形式到达,必须高速送入装配线。料箱抓取消除了许多零件类型的手动碗式送料器和振动分拣机。
  • 电子装配:PCB组件、连接器和外壳从料箱中抓取并放置到夹具或传送带上进行进一步处理,要求高位置精度。
  • 食品饮料:形状不规则的农产品、包装商品或烘焙物品需要轻柔的夹爪和能够处理可变形物体的视觉系统——这是该领域的前沿挑战之一。
  • 制药和医疗设备:严格的可追溯性和污染控制要求塑造了系统设计,视觉系统在抓取周期中通常兼作质量检查工具。
  • 电子商务履约:高SKU多样性和快速订单循环使得料箱抓取在货到人系统中具有吸引力,其中机械臂从料箱中抓取物品并放入出库周转箱。

特别是在仓储和履约中,料箱抓取单元与基于AMR的货到人架构自然配对。像瑞曼的Rhinoceros自主叉车可以将重型存储单元移动到指定位置,而较轻的运输机器人则在工作站级别处理料箱穿梭。结果是一个分层自动化系统,其中物料流中的每个环节——从散装存储到精细抓取——都自主且协调地运行。

结论

随机料箱抓取代表了现代机器人技术中一些最复杂技术的融合:密集3D传感、实时位姿估计和碰撞感知路径规划——所有这些都在生产速度下闭环执行。曾经被认为过于困难而无法可靠部署的技术,如今已成为工业现实,这得益于深度学习、传感器硬件和运动规划算法的进步,这些技术共同使机器人能够处理人类双手一直自然应对的那种非结构化和混乱的环境。

当料箱抓取嵌入更广泛的自主物料处理生态系统时,其全部价值得以实现。当机械臂与自主移动机器人和智能车队管理协同工作时,工厂和仓库可以实现真正的端到端自动化——从原材料存储到成品发货——只需极少的人工干预。随着抓取系统变得更快、更灵活、更易于部署,它们在数字化工厂中的角色只会更加核心。

准备构建端到端自主工作流程了吗?

瑞曼的自主移动机器人和叉车平台旨在与机器人抓取站无缝集成,提供使全厂自动化成为可能的物料处理骨干。从激光导航AMR到重型自主叉车,瑞曼将十多年的工业机器人专业知识带到您的工厂。

与瑞曼自动化专家交谈