115张手工标注的RGB图像，换来了17000多份多模态数据的帧级语义标注——这是刚公开的MultiFly数据集交出的核心成绩。
多模态标注的老问题
之前做低空无人机感知的，谁没为标注愁过？RGB、热成像、激光雷达、毫米波雷达，四种模态各有特点，要分别标一遍的话，成本高得离谱，还容易各模态的标注标准乱掉。毕竟不同传感器的视角、数据格式差太多，手工对齐都费劲，更别说统一标注逻辑了。MultiFly的设计者上来就瞄准这个痛点，不想给每个模态单独标，想找个更省事儿的办法。
跨模态传标签的巧劲
他们的巧劲，是用共享几何表示传标签。只拿115张手工标注的RGB图，通过四种模态都能对齐的几何关系，把标签“传”到其他所有模态上。具体成果是啥？传完之后，多模态数据的情况是：17157张额外的RGB图、17272张热图像、8.4亿个激光雷达点、340万个雷达点，全有了语义标注。
效果呢？标注质量够硬：和保留的手工标注比，平均一致率89.93%；跨六种模态对的平均语义一致性，达到90.94%——这俩数字，说明省了成本的同时，没丢标注的准头。他们还在四种模态上分别做了语义分割基准，甚至发现个细节：稠密激光雷达和稀疏雷达数据，对应的模型架构表现不一样。
给低空感知的新工具
MultiFly的定位很明确，是公开的基准工具。据公开信息，这是第一个把四种模态（RGB、热、LiDAR、雷达）的一致帧级语义标注凑齐的低空无人机数据集，还附带了校准数据和GNSS-RTK/IMU测量值，连校准和定位的数据都给了，省得使用者自己补坑。
数据地址是github.com/markus-42/multifly，有需要的可以去看。对行业来说，这东西最实在：之前想做低空多模态感知，要么凑不到匹配的数据集，要么标注成本高到不敢碰，现在有了MultiFly，至少不用在标注这块卡脖子了。
这个用115张RGB传标签的方法，能不能复制到其他场景？
素材来源：arXiv (LLM/多模态新论文) · AI情报、大模型、具身智能、科研前沿
查看报道原文
发表第一条评论吧