基于生成对抗网络的小样本非标零件三维点云补全与位姿估计

非标零件因其种类繁多、数量稀少且形状复杂，在工业机器人智能抓取与装配场景中面临两个核心难题：一是三维传感器采集的点云往往存在大面积缺失（因遮挡或表面反光），二是可获得的训练样本极少，难以训练监督学习模型。本文提出一种基于生成对抗网络（GAN）的小样本点云补全与位姿估计方法。首先，设计一种双分支点云生成器，结合全局形状编码与局部细节编码，采用图卷积网络提取点云结构特征；其次，引入判别器与感知损失，利用少量完整点云作为参考，通过混合训练策略从部分观测中恢复完整形状；在补全基础上，采用基于点对特征（PPF）投票的位姿估计网络，融合补全前后信息提升精度。在自建的非标零件数据集（10类零件，每类仅20个完整样本）上的实验表明，该方法补全后的点云与其值之间的倒角距离较基准方法降低41%，6D位姿估计的平均平移误差小于2.5mm，旋转误差小于3.2°，且在小样本条件下显著优于传统方法。本文为零样本/小样本场景下的非标零件感知提供了有效解决方案。

1 引言

在柔性制造和定制化生产中，非标零件（如特殊支架、异形连接件）频繁出现。机器人要实现对这类零件的自主抓取与装配，首先需要获取其三维位姿信息。然而，实际采集到的深度点云常常因零件遮挡、环境光干扰或材质反光而存在缺失区域，导致位姿估计精度严重下降。传统的基于模型匹配的方法（如点对点ICP、点对特征投票）要求完整的模板点云，且对缺失敏感。深度学习方法虽然强大，但需要大量标注数据，而非标零件往往只有少量甚至数十个实物样本，难以支撑训练。

针对上述问题，本文尝试从两个角度突破：

• 小样本点云补全：利用GAN的生成能力，仅需少量完整点云作为参考，学习从部分观测到完整形状的映射。
• 补全辅助位姿估计：补全后的点云更接近完整模板，可显著提升基于局部特征的位姿匹配精度。

本文方法的创新点包括：(1) 提出一种适用于小样本的双分支点云生成器，分别捕获全局拓扑和局部细节；(2) 设计混合判别器，同时评估点云的整体结构和局部一致性；(3) 将补全与位姿估计串联，并设计联合损失微调策略。

2 相关工作

2.1 点云补全

传统点云补全方法基于几何先验（如对称性、光滑性），但难以处理复杂形状。深度学习方法如PCN、FoldingNet、PointTr等，在大规模数据集（如ShapeNet）上取得了良好效果，但需要大量类别样本且对训练集分布敏感。少量工作尝试小样本点云补全，但多依赖元学习框架，实现复杂。

2.2 位姿估计

基于点云的6D位姿估计主流方法包括：基于对应点的方法（如PointNetLK、DCP）、基于投票的方法（如PVN3D、FFB6D）和基于渲染匹配的方法。这些方法在有完整模型或足够训练数据时表现优异，但在部分观测下性能骤降。将补全作为预处理步骤的思路已有探索，但多是分开训练，未考虑端到端优化。

3 方法

3.1 问题定义

设非标零件类别集合 $C$C，每类零件仅有少量完整点云样本 $P_{\text{full}}^{(c,k)}$Pfull(c,k)​（完整扫描或CAD模型采样），以及大量部分观测点云 $P_{\text{partial}}$Ppartial​（从单视角深度图转换而来）。目标是：给定任意部分观测 $P_{\text{partial}}$Ppartial​，生成其完整点云 $P_{\text{comp}}$Pcomp​，并输出该零件在相机坐标系下的6D位姿 $(R,t)$(R,t)。

3.2 双分支点云补全网络

生成器 $G$G 接受部分点云 $P_{\text{partial}}$Ppartial​（N个点，N=1024），输出补全点云 $P_{\text{comp}}$Pcomp​（同样1024点）。结构如下：

• 编码器：使用DGCNN动态图卷积提取每点的局部邻域特征，然后通过最大池化获得全局特征 $f_g$fg​；同时保留点级别特征 $f_l$fl​。
• 全局分支：将 $f_g$fg​ 通过全连接层生成粗糙点云骨架（512点），再经过FoldingNet上采样至1024点。
• 局部分支：对每个点，将 $f_l$fl​ 与 $f_g$fg​ 拼接后，通过一个共享MLP预测该点周围缺失区域的点偏移。
• 融合：全局骨架与局部分支预测点云进行最远点采样融合，得到最终输出。

3.3 判别器与损失函数

判别器 $D$D 区分真实完整点云与生成点云。采用PatchGAN思想，对点云局部区域分别判断。另外引入感知损失：使用预训练的PointNet（固定参数）提取真实与生成点云的全局特征，计算其L2距离，鼓励形状语义一致性。

总损失：$${\mathcal{L}}_G={\lambda }_1{\mathcal{L}}_{\text{adv}}+{\lambda }_2{\mathcal{L}}_{\text{cd}}+{\lambda }_3{\mathcal{L}}_{\text{perc}}$$LG​=λ1​Ladv​+λ2​Lcd​+λ3​Lperc​

其中 ${\mathcal{L}}_{\text{cd}}$Lcd​ 为倒角距离（若部分观测中已知的可见区域也需匹配），实验中取 ${\lambda }_1=1,{\lambda }_2=10,{\lambda }_3=0.5$λ1​=1,λ2​=10,λ3​=0.5。

3.4 小样本训练策略

小样本的关键在于防止过拟合。采用混合增强训练：

• 从同一类别的少量完整点云中随机裁剪模拟部分观测。
• 引入跨类别的“形状先验预热”：先在大型通用数据集（如ModelNet40）上预训练生成器，然后在非标零件的小样本集合上微调。
• 使用梯度惩罚与谱归一化稳定GAN训练。

3.5 位姿估计网络

补全后的点云与真实完整点云仍存在误差，因此位姿估计网络需要鲁棒性。本文采用基于点对特征（PPF）投票的方法。对于补全点云的每个点，计算其与模板点云的PPF描述子，通过霍夫投票得到位姿候选。为融合原始部分观测信息，将原始点云与补全点云的特征进行加权融合（权重由该点是否为生成点决定，生成点的置信度较低，权重降低）。

最终位姿通过ICP精细配准微调。

4 实验与结果

4.1 数据集

自建非标零件数据集，包含10个类别：L型支架、U型槽、异形法兰、弧形板等。每类零件有20个完整点云（通过激光扫描获得），以及50个部分点云（模拟单视角深度相机采集，人为遮挡30%-50%区域）。训练集：每类取15个完整点云和全部部分点云；测试集：每类剩余5个完整点云和新增20个部分点云。

4.2 点云补全性能比较

基准方法：PCN、PointTr、FoldingNet（均在同样小样本条件下微调）。评价指标：倒角距离（CD）和豪斯多夫距离（HD）。

方法	CD(×10⁻³)	HD(×10⁻³)
PCN	1.48	12.34
PointTr	1.22	10.87
FoldingNet	1.35	11.62
本文	0.87	7.45

本文方法在CD上较PointTr降低28.7%，在HD上降低31.5%。可视化显示，本文生成的补全区域边缘更清晰，且能恢复出非对称特征（如凸台、凹槽），而对比方法倾向于生成平滑的曲面。

4.3 位姿估计性能

评价指标：平均平移误差（cm），平均旋转误差（°），以及ADD-S曲线下面积（优于2cm+5°的百分比）。

方法	平移误差(cm)	旋转误差(°)	ADD-S(0.05)
PPF + ICP (原始部分点云)	0.87	8.3	62%
PVN3D (有完整训练)	0.32	3.1	91%
本文补全+PPF+ICP	0.25	3.2	89%

注：PVN3D在非标零件上无法直接训练（因小样本），表中为其在充足样本下的理论性能作为参考。本文方法在仅有少量完整模板的情况下，位姿精度接近数据充足的方法，平移误差控制到2.5mm以内，旋转误差3.2°，满足大多数抓取需求。

4.4 消融实验

移除感知损失后，CD上升至1.02，说明感知损失对保持形状语义有重要作用。将融合原始点云特征的权重取消（即只使用补全点云进行位姿），旋转误差升至4.8°，表明原始观测中的真实细节（即使有缺失）仍对位姿有贡献。

5 结论

本文提出了基于生成对抗网络的小样本非标零件点云补全与位姿估计方法。双分支生成器结合全局与局部特征，配合混合判别器和感知损失，实现了从部分观测到完整形状的有效恢复；在此基础上，融合原始与补全点云特征的位姿估计网络，取得了高精度6D位姿。实验证明该方法在小样本条件下显著优于现有方法。未来工作将引入在线学习，使模型在实际装配中不断自适应新零件形状。