多模态模型要同时处理图像和文本，过去的常规操作是“文本大模型+单独的图像编码器”——就像一个人读文字，另一个人看图，俩人事后凑到一起聊。但Google刚推的Gemma 4 12B，是第一款明确标注“encoder-free”的统一多模态模型：连那个负责看图的编码器都没了，这怎么干活？
它是什么
Gemma是Google的轻量级开放模型系列，这次出的4代12B参数版，直接把多模态的核心模块做了统一。之前的多模态模型，不管是Google还是别家的，基本都拆成两部分：处理文本的大模型，和把图像转成模型能懂的特征的编码器。这次的Gemma 4 12B，把这俩揉成了一个——整个模型同时能处理图像和文本，不需要额外加编码器模块，是真正的单统一架构。
去掉编码器的核心
没有编码器，不代表它不会处理图像。官方明确说这是“统一多模态架构”，本质是把跨模态的对齐逻辑融到了12B参数的模型里——不用编码器先把图像转成特征，模型自己就能搞定“看到图→转成语义→和文字对应”的过程。对开发者来说，最直接的好处是少了一个要对接的模块，不用纠结编码器和文本模型的特征对齐问题，部署时的代码复杂度降了不少。
对开发者的意义
对中小开发者来说，之前要做个多模态应用，要么自己搭编码器，要么用现成模型但得适配双模块。现在Gemma 4 12B把编码器砍了，等于给轻量多模态开发开了个更简单的口子。不需要太复杂的跨模态适配，拿过来就能用。另外，Gemma系列本身是开放模型，小团队不用付费授权，直接调参改功能就行，门槛低了一截。
轻量多模态的赛道，大家要么堆参数，要么凑编码器数量，Google这次反过来砍了编码器。那这种“少模块”的思路，会不会是未来小团队做多模态应用的最优解？
素材来源：Google DeepMind Blog · AI情报、大模型、AI应用落地
查看报道原文
发表第一条评论吧