星光澄海 | BLOG

第一次上手本地AI,我既兴奋又挫败

我把Mac里的临时文件、半年没打开的旧照片压缩包全删了,就为了给本地AI模型腾空间——这是我第一次主动碰AI,之前一直卡着:聊天记录、日程、甚至是没写完的私人随笔,全不敢扔给OpenAI或Google的云服务。

敢碰本地AI的理由

不是突然想追热点,是苹果新Mac的卖点戳中了我。之前用AI,总觉得自己像在“裸奔”:你输入的每一句需求,都可能成为模型的训练数据,哪怕是问“怎么煮一碗不坨的面”,也怕哪天被拿来优化成更“高效”的回答。而本地AI不一样,所有计算都在自己的电脑里跑,数据不用上传,这对把隐私看得比什么都重的人来说,是之前云AI没给过的安全感。

上手本地AI的糟心事

我不是AI专家,完全是摸着石头过河。之前用ChatGPT,复制粘贴就完事,现在要自己找适配Mac的模型、下载、配置环境,还得跟内存死磕。苹果新Mac配的内存贵得离谱,能跑中等规模本地AI的机型,内存至少要16GB起步,想流畅点,32GB是常态——这钱花在别的地方够买个不错的轻薄本了,值不值?折腾三个小时后,我选的模型卡在加载一半,系统弹“内存不足,请关闭其他应用”,挫败感直接拉满。更闹心的是,有些模型还要手动调整参数,比如温度、上下文窗口,我查了半天才搞懂这些是啥意思,越调越懵,本来以为是“隐私解放”,结果成了“电脑性能测试题”。

这事藏着什么信号?

之前本地AI不是没有,要么模型太弱,连写个文案都磕磕绊绊,要么门槛太高,只有极客才玩得转。现在苹果把本地AI做成新Mac的核心卖点,相当于把这个小众选项推到了普通用户面前。对我们来说,以后选AI工具,可能多了个“要不要本地跑”的选项——不用再硬选“好用”或“隐私”,至少苹果是这么吹的。对厂商来说,本地AI可能成了下一个竞争点,不是拼谁的模型参数更大,而是拼谁能把门槛降到普通人能碰的程度,不用再搞一堆看不懂的技术名词。

目前我还没搞定能正常用的本地AI,腾出来的空间又被我装回了常用的笔记软件。你会为了把数据死死留在自己电脑里,花额外的钱升级内存,折腾一下午配置吗?


素材来源:The Verge AI · AI情报、AI基础设施
查看报道原文

发表第一条评论吧

支持 Markdown