人机协作场景下工人操作意图预测与机器人轨迹实时重规划策略

在人机协作装配中，机器人需要预判工人的下一步操作意图，以主动调整自身运动轨迹，实现安全、流畅的协作。本文提出一种基于多模态时序融合的工人意图预测网络与在线轨迹重规划方法。首先，采集工人的头部姿态、手部骨架关节点及眼部注视特征，构建时空图卷积网络（ST-GCN）预测未来2秒内操作目标与轨迹。其次，将意图预测结果编码为动态势场，融入模型预测控制（MPC）框架中，实现机器人轨迹的实时重规划。在非标减速器装配场景的实验表明，该方法对三种操作意图（取螺钉、拾取垫片、插入定位销）的平均预测准确率达92%，机器人避让响应时间提前0.8秒，人机间距维持在安全阈值以上，协作效率提升35%。

1. 引言

人机协作（HRC）是未来柔性装配线的核心范式。然而，当前工业机器人大多采用“遇障即停”的保守反应式策略，频繁的启停打断了作业流，降低效率。真正高效的协作应当赋予机器人“预见性”：感知并理解工人的操作意图，从而主动调整行为，例如当机器人预测工人即将伸手取工具时，主动让开路径。实现这一目标面临两大挑战：一是意图的模糊性与多样性，工人动作存在个体差异且部分动作在空间上重叠；二是规划实时性要求高，预测与决策必须在毫秒级完成。本文提出一个融合基于深度学习的多模态意图预测模块与在线轨迹重规划框架的解决方案。

2. 工人操作意图预测模型

2.1 数据采集与特征提取
使用Azure Kinect DK（深度相机+4麦阵麦克风）采集以下模态：

• 人体骨架：32关节点3D位置，重点提取双手腕、肘及肩关节点轨迹。
• 头部姿态：欧拉角及三维空间坐标。
• 眼动注视：通过内置眼球追踪器获取注视点热力图。
• 上下文：当前装配工序状态（由MES提供）。

所有特征进行时间同步，构建每帧的特征向量 ${\chi }_t$χt​。

2.2 基于ST-GCN的意图预测
将连续的关节序列构建为时空图：每一帧内连接自然骨骼边（空间边），相邻帧间连接相同关节边（时间边）。采用ST-GCN网络，卷积层在空间和时间维度上交替操作，提取高层语义特征。网络输出为：

• 意图类别 $c\in \{\text{TakeScrew},\text{PickWasher},\text{InsertPin},\text{NoOp}\}$c∈{TakeScrew,PickWasher,InsertPin,NoOp}：通过Softmax输出概率。
• 未来轨迹 ${\widehat{Y}}_{t+1:t+T}$Y^t+1:t+T​：工人手腕中心在三维空间中的预测轨迹点。

损失函数为分类交叉熵损失与轨迹均方误差的加权和。

3. 机器人轨迹实时重规划

3.1 动态风险势场建模
将意图预测转化为环境约束。定义势场函数 $U(q)=U_{att}(q)+U_{rep}(q)+U_{intent}(q,t)$U(q)=Uatt​(q)+Urep​(q)+Uintent​(q,t)。其中 $U_{att}$Uatt​ 为机器人目标点的引力势，$U_{rep}$Urep​ 为传统斥力（基于工人当前位置）。新增的 $U_{intent}$Uintent​ 项根据意图预测生成一个“提前斥力”：如果预测到工人右手将向区域 $R$R 移动，则在 $R$R 前方生成一个随时间增强的虚拟势垒，迫使机器人提前离开。势垒强度正比于意图概率 $P(c)$P(c)。

3.2 模型预测控制（MPC）
将机器人的控制问题表述为滚动时域优化：$$\underset{u(\cdot )}{\min }\sum _{k=0}^{N-1}(\mathrm{\parallel }{\widehat{q}}_{t+k+1}-q_{ref}{\mathrm{\parallel }}_Q^2+\mathrm{\parallel }{u}_k{\mathrm{\parallel }}_R^2)+\mathrm{\parallel }{\widehat{q}}_{t+N}{\mathrm{\parallel }}_P^2$$u(⋅)min​k=0∑N−1​(∥q^​t+k+1​−qref​∥Q2​+∥uk​∥R2​)+∥q^​t+N​∥P2​

满足动力学约束、关节限位约束及安全约束 $\text{dist}(robot,worker)\ge d_{safe}$dist(robot,worker)≥dsafe​。在每个控制周期，使用预测的工人轨迹更新势场，求解最优控制序列，仅执行第一个动作。

3.3 不确定性处理
采用高斯过程（GP）建模意图预测的不确定性。在MPC中加入机会约束 $P(\text{dist}<d_{safe})\le \delta$P(dist<dsafe​)≤δ，从而在预测模糊时（如意图概率接近0.5）仍保持保守运动，确保安全。

4. 实验与讨论

4.1 实验场景
协作工位：UR10e机器人负责递送非标行星架，工人进行后续的轴承装配。定义三种意图，各采集500条动作序列（其中200条用于训练，300条测试）。

4.2 意图预测性能
ST-GCN模型对三种意图的总体准确率92.3%，对“取螺钉”和“插入定位销”这类动作差异大的意图识别率高达96%，但对“拾取垫片”（与取螺钉动作相似）略低为86%。对比LSTM基线（84.1%）和朴素贝叶斯（72.5%），ST-GCN利用骨架结构信息更具判别力。预测轨迹的终点误差（预测2秒）平均为3.8cm，在可接受范围。

4.3 协作流畅性与安全性

• 安全性：在15次突然意图变更测试中（工人从取螺钉突然改为伸手拿旁边工具），传统反应式控制（仅基于当前距离）有2次触发急停（间距<5cm）；本文方法因为有概率性预测，机器人提前微幅偏移，最小间距15cm，无急停。
• 效率：对标准装配工序（30个动作），传统方法耗时78秒（因机器人频繁等待和避让）；本文方法耗时51秒，效率提升35%。视频分析表明，机器人能“预判性”地为工人让出操作空间，减少互相阻塞。

5. 结论与展望

本文提出的意图预测-预测性规划框架有效平衡了人机协作中的安全与效率。未来工作将：1) 融合语音指令与手势的多模态交互，降低意图歧义；2) 研究人在回路中的学习迁移，使模型适应不同工人的操作风格。