据量子位报道，蚂蚁灵波最新开源了触觉预训练基础模型 LingBot-Touch，用于在触觉传感器和动作模型之间充当“翻译”。文章称，团队实验发现，机器人在直接接入原始触觉信号后，任务成功率不升反降；而在通过 LingBot-Touch 将不同传感器数据统一编码为触觉 Token 后，多项灵巧操作任务的成功率明显提升。
报道称，在一项使用 Sharpa Wave 灵巧手执行“拉上袋子拉链”的任务中，动作模型 π0.5 在仅依赖摄像头时成功率为 39%；直接输入指尖传感器原始读数后，成功率降至 15%。在“交接盒子”任务中，同样的 Sharpa Wave 与 π0.5 组合，接入原始触觉后成功率从 57% 降至 48%。即便将灵巧手换成 XHand，6 项任务平均成功率也从 49.71% 降至 48%。
文章称，问题在于原始触觉数据难以被动作模型直接利用。由于机器人手指大部分时间并未接触物体，触觉读数往往大面积为“0”；即便发生接触，信号也通常稀疏且带噪声。与此同时，视触觉、磁触觉和压阻式触觉等不同传感器的数据形式各不相同，使动作模型难以统一理解。
蚂蚁灵波给出的方案，是在传感器和动作模型之间加入一层统一表征。按照文章说法，LingBot-Touch 接收磁触觉、视触觉和压阻式触觉三类传感器信号，再将其统一编码为一种触觉 Token，从中提取接触位置、受力大小以及力方向随时间的变化。这样，不同传感器的数据在进入动作模型前就被转换成可统一理解的形式。
报道称，在同样使用 π0.5 执行“拉拉链”任务时，接入 LingBot-Touch 后，成功率升至 59%，比完全不用触觉高出 20 个百分点；“交接盒子”任务的成功率也从 48% 提升至 63%。文章还举例称，在“拧瓶盖”这类任务中，摄像头难以识别指腹是否在瓶盖表面打滑，而触觉信息可以帮助模型更顺畅地完成动作。
从模型结构看，文章称 LingBot-Touch 位于多种传感器和多种灵巧手、动作模型之间。其轻量版 LingBot-Touch-Tiny 约有 532 万参数，目前技术报告、代码和模型权重均已开源。
关于训练方法，文章称蚂蚁灵波团队主要分三步进行。第一步是统一坐标。由于不同传感器的触点数量和排布差异很大，团队先将所有触点映射到同一个标准化指尖空间，再为每个 Token 分配由时间、手指和三维位置共同组成的“地址”，并通过旋转位置编码（RoPE）输入模型。这样，模型无需依赖固定触点数量，即使更换布局也能读取。
在此基础上，三类传感器各自拥有轻量入口，用于将原始读数转成 Token；入口之后，共用同一个触觉 Transformer 主干。文章称，这意味着传感器之间的差异由各自入口处理，而接触本身的规律则由共享主干统一学习。
第二步是在特征空间中做预测。文章称，如果让模型直接还原原始读数，模型容易通过学习大量“未接触”的背景来降低损失，却学不到真正有用的接触信息。因此，LingBot-Touch 采用了 JEPA 路线：训练时随机遮住 90% 的触点，并在整段时间内保持遮挡，再根据剩余 10% 的变化，在特征空间中预测被遮住部分的表征，而不是逐点恢复原始读数。
按照文中数据，在同样使用 1000 小时数据训练的情况下，LingBot-Touch 判断接触中心的误差为 0.90 毫米，而 VAE 和 MAE 都在 3 毫米以上。另据文章举例，在“用一段触觉去找对应视频画面”的任务中，LingBot-Touch 的前 5 召回率为 32.07%，另外两种方法均低于 6%。
第三步是扩充数据并防止模型死记硬背。文章称，LingBot-Touch 的预训练数据总计 4983 小时、约 13.3 亿帧，其中三分之二来自人佩戴触觉手套操作，剩余三分之一来自遥操作 Sharpa Wave 双臂机器人。之所以大量使用手套数据，是因为其不依赖机器人本体，一个人一天就能在普通环境中录制数小时数据，而且这些数据只标注任务类别，如开、关、装配、倒水等，并未逐帧标注力的大小。
为避免模型记住有限的传感器布局，团队在训练时会随机改变触点采样密度，并对每个触点的位置做小幅扰动，以迫使模型学习接触规律本身，而不是固定布局。
在真实机器人测试中，文章称测试覆盖两款灵巧手：高自由度的 Sharpa Wave 执行 20 项任务，低自由度的 XHand 执行 6 项任务，共计 26 项。参与测试的动作模型包括 Diffusion Policy、π0.5、LingBot-VLA 和 T-Rex。每种模型都在三种设置下测试：不使用触觉、直接输入原始触觉信号、接入 LingBot-Touch。
文章称，在两款手上，四种动作模型中，接入 LingBot-Touch 的设置平均成功率最高。与“不使用触觉”相比，T-Rex、π0.5、LingBot-VLA 的成功率分别提升 23.18、21.81、24.81 个百分点，而参数量仅增加 0.13% 至 0.16%。
文中举例称，在“单手插吸管”任务中，难点在于刺破封膜的一瞬间。摄像头难以分辨封膜只是被压凹，还是已经被扎穿；而指尖触觉可以识别阻力突然变化，从而帮助机器人及时收力，避免吸管直接冲到底部。
文章特别提到 XHand 的实验结果。XHand 使用的磁触觉传感器型号从未出现在预训练数据中，而且预训练中的磁触觉数据全部来自人佩戴的手套。即便在接入 XHand 时，LingBot-Touch 一个参数都未修改，π0.5 在 6 项任务上的平均成功率仍从直接输入原始信号时的 48.00% 升至 74.17%。其中，“分离叠杯”任务的成功率从 32.5% 提升至 72.5%。
此外，文章称团队还将 LingBot-Touch 与此前的触觉基础模型 FTP-1 做了对比。在 Sharpa Wave 上判断接触中心时，FTP-1 的误差为 2.19 毫米，LingBot-Touch 为 0.12 毫米；在 XHand 上，误差则从 5.89 毫米降至 0.16 毫米。文章指出，FTP-1 在两只手上分别配有专门适配器，而 LingBot-Touch 使用的是同一个冻结编码器。
关于规模效应，文章称 LingBot-Touch 已初步呈现出 scaling law。Tiny 版在约 4000 小时数据附近开始饱和，而容量更大的 Small 版在 5000 小时数据时效果仍在提升；真实机器人任务的成功率也随着预训练数据增加而稳定上升。
从蚂蚁灵波整体技术路线看，文章称，在 LingBot-Touch 之前，灵波的通用大脑已布局多项能力，包括空间感知的 LingBot-Vision 和 LingBot-Depth 2.0，环境交互的 LingBot-Video 和 LingBot-World 2.0，以及灵巧操作的 LingBot-VLA 2.0 和 LingBot-VA 2.0。文章认为，这些能力大多解决“接触之前”的问题，而 LingBot-Touch 补上的是“接触之后”的感知能力，即“视觉管接触之前，触觉管接触之后”。
文章援引蚂蚁灵波 CEO 朱兴的观点称，GPT-6 Astra、Claude Fable 5.2 等数字世界大语言模型的进展，确实增强了机器人在复杂任务推理和物理操作方面的能力，灵波也在积极吸收相关进展；但若要真正打通操作闭环，“物理操作泛化性这块硬骨头还是绕不开”，很大程度上仍需要依靠具身基础模型自身的突破。
文章还提到，今年 9 月 GPT-6 Astra 发布后，RoboDojo 团队让其在零样本条件下运行 42 项仿真操作任务，综合得分在 43 个参评条目中排名第一；但在同一份报告中，其精度维度成功率仅为 4%，而表现最好的公开策略为 20.42%。文章称，插管、搭塔等需要精确接触的任务中，GPT-6 Astra 几乎全部失败，真实机器人测试也因安全问题被叫停。报告将这一差距归因于缺少对接触、力和碰撞的物理常识。
文章同时提到，Anthropic 当天发布了 Claude Fable 5.2。根据 Anthropic 官方博客公布的内部测试结果，Fable 5.2 在 RoboDojo 仿真测试中的平均成功率达到 64.9%，超过同一测试框架下 GPT-6 Astra 的 29.8%，也高于大多数专门为机器人控制打造的 AI 系统。官方演示显示，Fable 5.2 控制的机器人还能完成解魔方、拧瓶盖和画画等任务。不过，文章指出，RoboDojo 测试的是根据摄像头画面控制一台仿真的双臂机器人。
在商业化方面，文章称 LingBot-Touch 已与 LingBot-VLA、LingBot-Depth 完成融合，用于提升通用大脑的手眼协同和精细操作能力。蚂蚁灵波目前正与乐聚、钛虎等本体伙伴，以及国大药房、隆盛等场景伙伴，在零售分拣、物流分拣和工业场景中开展商业化测试。
文章最后表示，LingBot-Touch 可以单独使用，也可接入 π0.5、Diffusion Policy 等其他动作模型；传感器厂商可以继续沿各自技术路线发展，整机厂也无需为了适配某个模型而更换传感器。按照蚂蚁灵波的规划，公司将继续探索物理操作泛化性的上限，推动视觉、深度、触觉乃至温度等更多物理模态在统一模型中对齐。
项目主页：https://technology.robbyant.com/lingbot-touch
技术报告：https://github.com/Robbyant/lingbot-touch/tree/main/paper
GitHub：https://github.com/Robbyant/lingbot-touch
Hugging Face：https://huggingface.co/collections/robbyant/lingbot-touch
魔搭社区：https://www.modelscope.cn/collections/Robbyant/LingBot-Touch
本文来源：量子位
