技术资讯

技术资讯

建筑技术丨基于视觉识别的智能钢筋绑扎机器人的研究

2024-12-05

建筑技术丨基于视觉识别的智能钢筋绑扎机器人的研究

来源:建筑技术杂志社

预制混凝土(Precast Concrete,PC)构件是在工厂内生产,安装在施工现场的一种建筑构件,它是实现主体结构预制的基础。因其人工成本低、节能环保、施工效率高等优点,在建筑行业广泛使用。然而,随着PC构件需求的增加,以及PC构件传统生产线和生产设备制约着生产效率,导致PC构件生产供不应求。

为了在保证生产质量的前提下提高生产效率,需要将整个PC生产线进行更新换代,淘汰大部分人工和半自动化生产工艺,将其改造为智能化生产。国内PC构件生产工艺过程中,钢筋绑扎过程是最关键的工艺之一,而且钢筋绑扎过程几乎是人工绑扎,导致生产成本增加,生产效率下降。因此,对PC构件钢筋绑扎工艺进行智能化升级,研发出一种智能钢筋绑扎系统至关重要。为了解决上述问题,研发了一种可视觉引导的龙门行走机构结合协作型六轴机器人的设备,机器人末端装配全自动钢筋绑扎机,安放在PC构件生产流水线钢筋绑扎工位,代替工人实现更加高效准确的钢筋绑扎工作。

1  技术路线及总体流程

现场实地考察结合大空间三维激光扫描仪对作业现场进行准确、全写实的3D场景建模,分析设计、生产、安装等实际项目需求,分析设计制图并在仿真平台建模验证、预制装配和机器人运动仿真,采用点云信息重建与深度学习实现任务点的位置识别与工作质量检测,使用人工智能蚁群算法进行机器人路径策略规划,并改装了具有高适应性、高强度的全自动钢筋绑扎机,按照施工作业现场需求规划、设备系统功能规划、接口规划等,攻克智能绑扎机器人的全部核心难点,如全场景作业现场三维重建、绑扎机器人控制及基于点云信息的三维重建绑扎点准确识别等,最终完成一系列的关键技术设计文件和程序代码并且完成了用于平台和机器人操作系统的各项功能的操作界面或应用软件。

1.1  总体流程

智能钢筋绑扎机器人总体流程主要分为全局相机人机交互及龙门粗路径点的识别与规划、局部相机及点云处理钢筋交叉点精路径点的识别与规划、智能去除重复路径点规划、机械臂安全作业运动路径规划以及绑扎机高适应性、高强度地自主安全作业等。首先,经由软件操作界面完成全局相机人机交互部分。全局相机拍照完成指定区域模台的实时图像拼接,经调节处理,为粗路径点的识别和规划做好准备;经过实时图像拼接后,软件操作端进行点选框选界面,进而生成行走机构,即龙门所有粗路径点的识别与动作规划,进入整体流程的大循环;在经由龙门行走机构完成粗路径点的单点次运动,运动到位后发送到位信号。当局部识别规划的小循环中接收到到位信号后,进行局部相机及点云处理钢筋交叉点的检测和定位以及准确路径点的识别与规划,其中利用点云或激光进行区域交叉点检测与准确定位,OPENCV调用训练模型进行辅助检测。

在运动前,准确路径点规划时完成重复点智能去除环节,进而确保在安全作业的基础上准确完成目标需求及达到相关性能指标;在生成机器人捆扎机路径序列后,机械臂进行安全作业规划进而进行绑扎位姿的合理运动,发出到位信号。末端执行机构智能绑扎机接收到位后进行捆扎循环,经过判断分支确定好延时和捆扎信号的发送,进而完成所规划视野内的钢筋捆扎作业。

完成每一粗路径点区域的作业后,机械臂运行回到拍照姿态或者根据实际情况运行到指定安全待机区域。行走机构每移动到新位置点,机器人的局部相机拍照的位姿固定,该区域绑扎点全部绑扎完成后,机器人返回该位置。此外,每个模台绑扎完成后龙门行走机构、机械臂执行机构均运动到指定待机位置或位姿。

1.2  全平台通信分析

智能钢筋绑扎机器人系统主要由主控机和嵌入式工控机两大部分完成上位机核心控制环节,下面将主要以主控机和嵌入式工控机展开介绍通信及相关信号交互。当模台到位后,操作员在主控操作界面点击开始扫描,完成全局扫描结果显示,经过手动确认后,生成所有的粗路径点。主控机和嵌入式工控机之间经过TCP/IP协议,完机械臂报警信号、绑扎机完成信号、主控机一键急停信号的信息交互。

主控机将一键急停控制信号、龙门坐标点实时位置信息传递给PLC控制器。同样,PLC控制器将当前位置信号、龙门异常报警信号、缺丝断丝报警信号传回给主控机方面。此外,嵌入式工控机将与PLC控制器完成到位信号、龙门异常报警信号、缺丝断丝报警信号、机械臂报警信号的交互过程。同时,嵌入式工控机完成与AUBO机器人、局部相机、末端全自主智能捆扎机进行信号交互。主控机、嵌入式工控机与PLC控制器之间使用的工业级MODBUS通信协议完成信号交互,实现交互信号的逻辑闭环,完成全平台、全方位的合理通信环节。

2  全局标定

全局标定是大尺寸检测系统中多目视觉完成数据融合非常重要的一个环节。在全局标定模块,通过激光跟踪仪及相关视觉算法,完成多目视觉下的全局标定。激光跟踪仪作为一种大尺寸空间坐标测量仪器,具有可实时动态与静态测量,测量精度高对于建筑行业大尺寸(20~30 m)工件的测量工作可以不移站就能满足整体测量的要求,降低了测量难度,提高了测量精度和效率。

多目视觉检测子站单元、标靶球、激光跟踪仪之间具有一定的位姿关系,在进行全局标定时,将标靶球置于模台不同定位点处,同时读取该标靶球在测量子站单元世界坐标系中的空间点视觉坐标值及其对应在激光跟踪仪世界坐标系中的空间点世界坐标值,经齐次坐标变换,将8个检测子站单元即8台相机的局部视觉坐标系转换至激光跟踪仪所建立的世界坐标系中,之后转换激光跟踪仪的坐标系至机器人的龙门坐标系,达到各子相机坐标系统一。

3  全局相机人机交互与粗路径规划

3.1  全局相机人机交互

智能钢筋绑扎系统“智能”的第一步:识别定位模具。该功能主要由系统最上方8台5 000万高分辨率相机提供。算法将8台相机所拍摄图片进行简单处理拼接,并由操作者在界面进行交互操作完成模具的识别定位。

3.2  粗路径规划

粗路径规划建立在所给模具系统坐标点之上,都将是一个Module Detect INFO,对每一个模具进行粗路径点任务规划,该规划将建立在局部相机视野之上,规划结果最终存储在队列内,依照先入先出的次序执行龙门运动的控制。同时本算法所规划第一点相对位置是始终不变的,以模具左上角点加上视野宽度、高度一半确定第一点。

4  局部相机识别

单目立体视觉钢筋绑扎点识别定位的原理是基于机械臂上安装的深度相机采集钢筋图像,通过计算钢筋绑扎点来获取交叉点信息,为了提高单目立体视觉的精度,在使用前需要进行标定如图1所示。相机在实际成像时,相机光轴不一定与成像中心重合,易产生偏差,进行相机单目标定可以计算相机的焦距和偏差。相机成像平面模型如图2所示。

 

1  单目标定结果

 

2  相机成像平面模型

4.1  相机内参标定

将机器人基底坐标系作为世界坐标系,该机器人的基底坐标系和绑扎机末端坐标系可以从配套的机器人示教器中直接读取,为使相机标定的空间坐标具有实际意义,还需要得到绑扎机器人的“手眼关系”,即得到相机坐标系与绑扎机末端的位姿关系。

4.2  手眼标定

在智能钢筋绑扎机器人的应用场景中,因钢筋绑扎工位不变,所以采用“Eye–in–hand”手眼关系,将相机安装在机械臂固定位置,搭建绑扎点图像信息采集平台。“Eye–in–hand”的手眼关系如图3所示。

 

 

3  手眼关系

4.3  钢筋交叉点位置识别

钢筋交叉点检测系统主要由机械臂、全自动绑扎机、深度相机、激光发射器、控制器等部分组成。钢筋交叉点的扫描主要由机械臂搭载深度相机完成,主要目的是获得钢筋绑扎场景的点云信息,通过对相机视野区域的调整,获得局部的高精度的钢筋点云信息。因钢筋所处模台具有典型的平面特征,针对这种特征,采用空间平面滤波的方法,对模台点云进行去除。点云平面滤波,采用随机采样一致性(RANSAC)方法对大平面进行拟合,同时通过多次迭代拟合的方法可以排除噪点的影响,拟合精度大幅提高。钢筋点云效果图如图4所示,钢筋绑扎点如图5所示。

 

4  钢筋点云效果图 

 

5  最终绑扎节点

5  结束语

对于人工钢筋绑扎,要想快速地完成绑扎动作,要求工人技巧熟练,由于工人精力有限,时常会出现绑扎不牢靠、漏掉一些重要绑扎部位、重复绑扎等失误,影响PC构件的生产质量,严重的还会返工重新生产。

虽然国内外智能钢筋绑扎系统已经有一定程度的研究进展,但仍需要固定钢筋摆放间距等问题导致难以推广应用,研究基于视觉识别的智能钢筋绑扎机器人不仅能实现准确绑扎还提高了PC构件钢筋绑扎的生产效率和生产质量,降低生产成本应用前景广阔。


标签

近期浏览: