iPhone 也能跑 30B 大模型:LiberaGPT 把本地 AI 拉到了什么水平

前言

地铁里信号断断续续,飞机上 Wi-Fi 贵得离谱,会议室里讨论客户数据不敢上传到任何服务器——这三种场景里,你大概率会用手机打字搜索,或者干脆放弃问 AI。LiberaGPT 想打破这件事:一个装在手机里的 AI 助手,模型完全跑在本地,不发一条数据出去,离线也能用。iPhone 17 Pro 上能跑 24B 参数的 Mistral Small,24GB 内存的安卓机上能塞下 Llama 3.3 70B——这在一年前还是桌面独显才敢想的事。

夜晚城市户外,一只手举着手机,屏幕显示本地 AI 对话界面,背景是模糊的彩色霓虹光斑

但"本地 AI"听起来美好,实际表现到底怎么样?我们把它翻了个底朝天,从模型清单、benchmark 跑分、白皮书架构到订阅定价,全部摊开来聊。

它能替你做什么

LiberaGPT 是 5N6 LTD 公司(注册于英国卢顿)做的本地 AI 助手,2026 年 3 月发布了完整的白皮书(DOI: 10.5281/zenodo.19232610),目前在 iOS 和 Android 都能下载。打开 App,模型完全在你的手机芯片上跑,不订阅、不计费、不上传——对话记录存在本地数据库,你随时可以一键清空。

它内置 8 个不同大小的模型,覆盖从"快答小助手"到"深度推理"的不同场景:

小模型(0.9-2.5 GB,免费)

  • SmolLM3 3B:HuggingFace 出品,128K 上下文,~25 tok/s——内置默认模型,适合长对话和文档分析
  • Phi-4 Mini 3.8B:微软出品,~18 tok/s——分析推理最强,指令遵守最稳
  • AceInstruct 1.5B:1.2 GB,~26 tok/s——代码生成专用
  • EXAONE Deep 2.4B:LG AI Research 出品,1.6 GB——英韩双语 + 数学逻辑
  • StableLM Zephyr 1.6B:Stability AI 出品,989 MB——最快但能力最弱

大模型(Pro 订阅解锁)

  • Mistral Small 3.2 24B:iPhone 17 Pro 限定,约 8 tok/s——iOS 上能跑的最大模型
  • Qwen3 30B MoE(MoE = Mixture of Experts,一种"按需激活部分参数"的模型架构):阿里云出品,30B 总参数但每次只激活 3.3B,需要 16GB 内存安卓机,~12 tok/s
  • Llama 3.3 70B:Meta 出品,IQ2_XS 极低量化,21 GB 大小,~5 tok/s——目前有记录的最大消费级手机模型,需要 24GB 内存安卓机

这些数字有点抽象。简单说:你想要"快问快答"用 SmolLM3(1.9 GB),想要"深度分析"开 Mistral Small 24B(iPhone Pro)或 Qwen3 30B(安卓 16GB+),想要"极限测试"上 70B——但后两个都吃硬件配置。

它不能做什么

先说几个真实的边界,避免被"本地大模型"这个词唬住。

速度比云端慢一个量级。Mistral Small 24B 在 iPhone 17 Pro 上跑约 8 tok/s——意思是每秒生成 8 个汉字。云端 GPT 跑同类模型大概 50-100 tok/s。如果你要写长文,速度感差距明显。

70B 模型不是"人人都能开"。Llama 3.3 70B 要 24GB 内存——目前只有少数安卓旗舰(如一加 13T 24GB 版、ROG 9 Pro)满足条件。而且 21 GB 模型 + 2K 上下文(一次对话最多 2048 token,约 1500 字)+ ~5 tok/s 的速度,更像是"技术上做到了",而不是"日常好用"。

小模型不是每个都靠谱。LiberaGPT 官方做了 5 个小模型的实测(10 个问题 × 5 类评分):

模型 总分 推理 知识 指令 代码 判断
SmolLM3 3B88.693.186.376.695.391.6
Phi-4 Mini 3.8B82.372.875.190.493.379.9
AceInstruct 1.5B81.770.685.778.892.580.7
EXAONE Deep 2.4B63.464.184.338.149.381.3
StableLM Zephyr 1.6B48.615.043.149.462.872.9

来源:LiberaGPT Models 页官方 benchmark(iPhone 17 Pro 实测,10 prompt × 5 类 × 8 评分维度,满分 100)

SmolLM3 综合最强,Phi-4 Mini 在严格指令格式上最稳。但 EXAONE Deep(38.1 分的指令遵守)和 StableLM Zephyr(48.6 总分)——白皮书原话:"the benchmark does not support positioning it as a reliable default model inside a high-trust mobile product"。

Pro 订阅目前只支持 iPhone。官方明确写:"Currently only available for iPhone (Android update coming soon)"。也就是说,安卓用户现阶段只能用免费版 5 个小模型,30B/70B 大模型暂时与你无关。

为什么 iPhone 能跑 24B——一件没那么玄的事

白皮书用 23 页篇幅解释了一件事:不是把大模型"塞进"手机,而是让手机硬件"原生支持"这种模型

三个关键拼图:

第一,A19 Pro 是异构计算芯片——不是普通的 CPU 加 GPU。里面有 16 核 Neural Engine(神经网络专用处理器,苹果芯片里专门跑 AI 推理的模块,35 TOPS 即每秒 35 万亿次整数运算)、6 核 GPU(Metal 3 图形接口支持)、多核 CPU。跑 4-bit 量化的 transformer 模型(当前主流大语言模型的基础架构)时,整数矩阵乘法天然适合 Neural Engine 的整数计算单元,注意力头则丢给 GPU 的 Metal 计算着色器——苹果的 Core ML 框架自动调度,开发者不用手写。

第二,统一内存架构。一般电脑跑 AI,模型权重要在 CPU 内存和 GPU 显存之间搬来搬去,A19 Pro 直接用一块共享内存池——一个 2.5 GB 的模型,加载一次后 Neural Engine、GPU、CPU 都能直接访问,没有"搬运开销"这一步。

第三,4-bit 量化(将模型参数精度从 16 位压缩到 4 位以减小体积和加速计算)不是"将就",而是"对齐"。Neural Engine 的整数计算单元就是为低精度设计的——Q4_K 量化后的模型,吞吐量(throughput,即每秒能处理的运算量)比 16-bit 在同芯片上跑更高、发热更低,能持续推理更久才触发降频(芯片过热时自动降速的保护机制)。

用白皮书的话说:LiberaGPT 不写自定义计算内核,也不绕过系统运行时(runtime)——它跟着 Apple 平台调度走,硬件升级时自动受益。

为什么是"装 N 个小模型",不是"压一个大模型"

白皮书 Section 3 提了一个反直觉的观点:5 个 1-4B 的专门化小模型,加起来比"压缩一个大模型"更能打

理由是这样的:1.5B 的 AceInstruct 专门训练过代码生成,输出结构化 HTML/CSS 的能力比"3B 的通用模型被要求写代码"更强;2.4B 的 EXAONE Deep 在数学推理上,比"大模型把数学当成 1000 个任务之一"更稳。

LiberaGPT 把这 5 个模型按场景分:

  • SmolLM3 → 长对话 + 文档分析(128K 上下文 = 一次能塞 9 万字)
  • Phi-4 Mini → 分析推理 + 严格指令
  • EXAONE Deep → 数学 + 编程逻辑 + 英韩双语
  • AceInstruct → 代码生成
  • StableLM Zephyr → 快速短回答

用户选模型,App 管加载和热感知——同一时间只有一个模型驻留内存(默认配置下;Pro 解锁后可同时加载多模型做对比)。这种"专门化分工"的思路,在手机端比"塞一个超大模型"更实用。

它值不值——以及你要花多少钱

免费版(0 元):5 个小模型,单模型使用,覆盖大多数日常场景(快答、写代码、长对话)。

Pro 订阅(价格未公开):

  • Audition Mode:同时给所有已安装模型发同一个问题,并排对比答案
  • Advanced GPU Tuning:解锁 Mistral Small 24B(iPhone Pro)、Qwen3 30B(安卓 16GB)、Llama 3.3 70B(安卓 24GB)
  • Advanced Info:实时显示生成速度、温度状态、内存占用、上下文消耗
  • AI Image / Video Upscaler:本地的照片/视频超分(最高 8K),仅 iOS
  • 未来所有 Pro 模型免费

注意两件事:第一,官方只写"One-time unlock. No subscription",没说具体金额——本文不替你猜价格,想买请直接到 App Store / Google Play 内购页看。第二,Pro 目前仅 iPhone 可用,安卓用户暂时只能等"coming soon"。

谁最适合

推荐你装:

  • 你手里是 iPhone 17 Pro / Pro Max,想体验"24B 模型在本地跑"是什么感觉
  • 你在乎隐私——律师、医生、咨询、金融行业,和客户相关的对话不想走云端
  • 你经常出差 / 通勤 / 在弱网或无网环境(地铁、飞机、海外、农村)
  • 你是 AI 重度用户,想"对比不同模型对同一个问题的回答"做评估(Audition Mode)

建议先观望:

  • 你的手机是 iPhone 15 或更早、A18 以下芯片——24B 跑不动,免费版小模型够用但 Pro 与你无关
  • 你的安卓机内存 ≤ 12 GB——30B / 70B 都跑不了,免费版又觉得"和云端 AI 差距明显",体验会打折扣
  • 你需要长上下文做严肃工作——目前大模型(24B 以上)只支持 2K-4K 上下文,不适合处理长文档
  • 你追求"一句话秒回"的速度感——本地大模型 8 tok/s 和云端 50+ tok/s 体感差距大

总结:LiberaGPT 做到了什么程度

LiberaGPT 不是"把 ChatGPT 塞进手机"——它是一件云端助手做不到的事:private by design, capable through model diversity, available anywhere(白皮书原话:设计上就私密,靠模型多样性实现能力,连接性无关)。

8 个模型覆盖从快答到极限推理的全场景,热感知保证手机不发烫降频,零遥测让你不用担心数据外泄。免费版 5 个小模型已经是"能用的本地 AI",Pro 订阅把上限拉到 70B——只要你硬件够。

但也别神化它:本地推理速度比云端慢一个量级,70B 在 24GB 安卓机上能做到但不好用(~5 tok/s、2K 上下文),StableLM Zephyr 这类小模型实测不够稳(benchmark 48.6 分),Pro 订阅暂时不支持安卓。

它适合的人很清楚:高端硬件 + 隐私敏感 + 弱网常客。如果你只是想要"手机上的 ChatGPT",云端 App 体验还是更顺滑;如果你愿意为"完全离线、完全私有"付溢价,LiberaGPT 在 2026 年这个时间点,已经把这件事做到了消费级能用的程度。