MIRA调度策略在合成分类任务上，比仅看传感器相关性的老方法，准确率最高提了70%——这是arXiv eess.SP方向刚披露的最新研究结果，针对的是自动驾驶、机器人导航这类安全关键场景的多模态推理。
原来的坑：时间窗口里，堆数据没用
自动驾驶、机器人导航这类场景，要安全决策得靠异构传感器的观测数据，而且数据必须在任务规定的时间窗口内传到边缘服务器——这个窗口是最晚能用来做当前决策的有效时间。但每个传感器的情况不一样：准备时间、数据量、无线信道条件，还有和当前任务的相关性，都有差异。之前的调度逻辑要么盯着吞吐量堆数据，要么只挑相关性高的传感器，结果都没法最小化融合后的预测误差。
MIRA的核心：条件证据增益，不是瞎选传感器
这次研究把多模态数据的上行调度，看成“按顺序收集无线证据”的事儿。针对线性最小均方误差（LMMSE）融合模型，推导了一个条件证据增益指标——这个指标用二阶统计量，不止适用于高斯模型，当目标和预测误差是联合高斯时，还和条件互信息完全一致。基于这个指标，研究团队做了个叫MIRA的策略：贪心的、任务驱动的，结合每个传感器的信道状态、剩余数据量，还会在采集过程中动态更新传感器的相关性权重。
实测的硬数据：快、准、省
实验覆盖了三个任务：合成分类、人体活动识别、车辆轨迹回归。和仅靠相关性调度的方法比，MIRA的分类准确率最高提70%，回归均方误差（MSE）降了5.5%；和仅靠信道调度的方法比，要达到80%的目标准确率，MIRA少花58%的采集时间，最高准确率高95%，回归MSE还降了9%。最关键的是，这些提升不是靠堆数据量来的，没一味追求最大接收数据。
不过，这都是实验室控制变量下的结果——实际场景里，比如自动驾驶的传感器会有遮挡、信道波动比合成环境大，这种任务驱动的调度，要怎么调整才能真正落地到车规级的系统里？
素材来源：arXiv (LLM/多模态新论文) · AI情报、大模型、AI应用落地、具身智能
查看报道原文
发表第一条评论吧