融合激光雷达与深度相机的非标工件三维重建与抓取规划研究

非标工件几何形状复杂、表面反光或纹理缺失，单一传感器难以完整重建。本文提出融合激光雷达（LiDAR）与深度相机（RGB-D）的非标工件高保真三维重建方法，并基于重建模型生成稳定抓取位姿。首先设计外参联合标定与数据级融合策略，利用LiDAR的精确深度弥补RGB-D在光滑表面的空洞，同时用RGB-D的高分辨率纹理引导LiDAR点云上采样；其次，提出基于截断符号距离函数（TSDF）的增量融合重建算法；最后，在重建网格上采用对抗式抓取质量网络评估候选抓取点。实验在多种非标工件（铸件毛坯、弯管、带深孔零件）上验证，重建完整度达97.2%，抓取成功率达93.4%。

1. 引言

非标自动化产线中，工件随意摆放、品类多变，亟需机器人通过视觉感知完成自主抓取。然而非标工件常具有无纹理表面（如黑色橡胶件）、高反光（机加工金属面）、深孔或薄壁结构等特点。单一深度相机受光照和材质影响产生深度缺失或噪声；单一激光雷达虽精度高但点云稀疏且无颜色信息，难以区分工件与背景的粘连区域。

多传感器融合是解决上述问题的有效途径。现有方法多采用“相机+结构光”或“多视角RGB-D”，但结构光对高反光同样敏感，且多视角融合需精确运动估计。本文创新性地采用固态激光雷达（Livox Mid-70）与深度相机（Intel RealSense D455）进行数据级融合，充分利用前者的抗干扰深度与后者的纹理辅助分割，专门面向非标工件的复杂形状进行算法设计。

2. 传感器融合预处理

2.1 外参联合标定

将LiDAR与RGB-D相机刚性固定于机器人手腕。标定时使用棋盘格+棱角分明的平面靶标，同时采集LiDAR点云与RGB-D点云，通过迭代最近点（ICP）算法结合棋盘格角点检测，求解旋转矩阵 $R_{l\to c}$Rl→c​ 与平移向量 $t_{l\to c}$tl→c​。标定误差控制在2mm以内。

2.2 数据级融合策略

对于同一场景的深度图像 $D_{rgbd}$Drgbd​（单位mm）与LiDAR深度图 $D_{lidar}$Dlidar​（通过球面投影转化为图像坐标），采用自适应置信度融合：$$D_{fused}(u,v)=\frac{w_{rgbd}(u,v)D_{rgbd}(u,v)+w_{lidar}(u,v)D_{lidar}(u,v)}{w_{rgbd}+w_{lidar}}$$Dfused​(u,v)=wrgbd​+wlidar​wrgbd​(u,v)Drgbd​(u,v)+wlidar​(u,v)Dlidar​(u,v)​

权重由局部纹理特征与深度方差决定：RGB-D深度在纹理丰富区域置信度高；LiDAR深度在光滑或高反光区域置信度高。具体地，$w_{lidar}$wlidar​ 与像素邻域深度方差成反比（若方差大说明RGB-D不可靠），$w_{rgbd}$wrgbd​ 与局部梯度幅值正相关。最终得到无空洞、低噪声的融合深度图。

3. 非标工件三维重建

3.1 多视角增量TSDF融合

机器人带动传感器环绕工件采集N个视角。采用截断符号距离场（TSDF）进行体素级融合。每个体素存储加权平均的距离值 $F(v)$F(v) 与权重 $W(v)$W(v)。更新规则：$$F_{new}(v)=\frac{W_{old}(v)F_{old}(v)+w_{fused}(v)f_{fused}(v)}{W_{old}(v)+w_{fused}(v)}$$Fnew​(v)=Wold​(v)+wfused​(v)Wold​(v)Fold​(v)+wfused​(v)ffused​(v)​

其中 $f_{fused}(v)$ffused​(v) 由融合深度图计算得到，$w_{fused}$wfused​ 为融合置信度。与标准TSDF不同，我们引入各向异性截断距离：沿工件表面法线方向截断距离较大（允许微小偏差），切向较小（保持边缘锐利），以保留非标工件的精细特征如倒角、槽口。

3.2 点云上采样与纹理映射

由于LiDAR点云在远距离稀疏，融合后在薄弱区域执行深度图引导的上采样：使用RGB-D图像的边缘图作为导向，在边缘附近以二次曲面拟合增加点云密度。最终重建结果以带纹理的网格模型（.obj）输出。

4. 基于重建模型的抓取规划

4.1 候选抓取点生成

从重建网格随机采样候选夹爪接触点对（grasp hypotheses），使用 antipodal 评分快速筛选。对于非标工件，必须避免抓取深孔边缘或薄壁区域，因此引入“局部支撑距离”惩罚项：计算抓取点周围5mm内体素厚度，若<3mm则直接剔除。

4.2 对抗式抓取质量网络

采用生成对抗网络（GAN）框架评估抓取稳定性。生成器G产生抓取点对，判别器D判断该抓取是否能成功（在仿真或真实试验中预先标注）。训练过程中，G试图生成迷惑D的高质量抓取，D则学习区分正负样本。最终使用判别器最后一层特征作为抓取质量分数 $Q\in [0,1]$Q∈[0,1]。与传统的力封闭分析相比，该方法能学习非标工件特有的失效模式（如因表面不平导致的旋转滑移）。

5. 实验

5.1 重建精度对比

选取三种非标工件：高反光铝制弯管、黑色橡胶密封圈、带深孔的异形支架。对比方法：仅RGB-D（Fusion4D）、仅LiDAR（LOAM）、本文融合方法。采用高精度激光扫描仪获取真值模型，计算重建完整度（模型比例）与精度（Hausdorff距离）。

工件	方法	完整度(%)	精度(mm)
铝弯管	仅RGB-D	68.3	2.1
	仅LiDAR	82.5	0.8
	本文融合	96.8	0.5
橡胶圈	仅RGB-D	42.6	5.2
	仅LiDAR	88.4	0.9
	本文融合	97.2	0.6
异形支架	仅RGB-D	71.2	3.4
	仅LiDAR	85.1	1.1
	本文融合	95.7	0.7

5.2 抓取成功率

将重建模型送入机器人抓取系统（Robotiq 2F-85夹爪），每个工件随机姿态摆放30次。抓取成功率：仅RGB-D重建为72%，仅LiDAR为81%，本文融合为93.4%。失败案例主要来自深孔区域被误判为抓取点，本文方法借助局部支撑距离惩罚成功避免了此类错误。

6. 结论

本文提出的LiDAR与深度相机融合重建方法显著提升了非标工件的三维模型完整度和几何精度，对抗式抓取质量网络适应了非标工件的异形特征，实现了高成功率自主抓取。未来将融合触觉传感以处理极度遮挡场景。