MemoCare的绘图模块，在锁定的71张图像测试集上，平均平衡准确率达到91.33%——这是一款主打自动认知筛查的多模态移动系统交出的测试答卷。
它是什么？
MemoCare是一款交互式移动端应用，用React Native框架开发，支持英语和越南语的完整筛查流程。它整合了四类互动模态：语音回答、时空定向、触屏操作、视觉构建（比如绘图类任务），不用复杂设备，就能完成对认知能力的初步筛查。
技术的核心细节
各模块各司其职，打分逻辑偏向本地处理，减少对外依赖。语音部分用谷歌语音转写，之后通过任务定制的自然语言规则在本地打分；GPS坐标会先经MemoCare的空间模块解析，再匹配答案；触屏任务的分数，来自系统记录的所有交互事件；绘图任务是三个卷积神经网络模型的共识结果，其中选用的ShuffleNetV2 x1.5模型，在71张测试图上，精确满足三项评分标准的准确率为78.87%。
测试数据很扎实：151个预定义的测试用例，覆盖语音语言、空间答案、触屏交互三类打分，全部通过；48个来自四个国家的坐标解析案例，也全部达标。此外，四位临床作者对整个端到端流程做了评估，八个评分标准的总中位数为4分（满分5分），单项评分的中位数在3到4.5分之间。
落地的轻量体验
在MMM会议上，参会者可以直接体验这款系统的缩短版多模态筛查流程，还能查看系统自动生成的单项评分和总分。
这款系统把认知筛查从固定的医疗场景，搬到了人人都有的手机上，用技术替代部分人工评估，效率提升的同时，也降低了筛查的门槛。如果它能适配更多常用语言，会不会成为基层医疗机构做认知初筛的低成本工具？
素材来源：arXiv (LLM/多模态新论文) · AI情报、大模型、AI应用落地
查看报道原文
发表第一条评论吧