生成有用输出的最小本地LLM是什么？截至2026年4月，有用输出的实际最小值是Q4_K_M量化下的3B模型。2B以下参数的模型生成连贯的单句但在多步骤指令和复杂推理上苦恼。对于摘要和简单问答等任务，Gemma 2 2B是可用的。对于更复杂的任务，从3B模型开始。

我可以在电话上运行3B模型吗？可以----Llama 3.2 1B和3B专为设备上移动部署而设计。Meta为iOS（通过MLC LLM）和Android提供优化的构建。在现代手机上的推理为1B模型生成15-30令牌/秒。LM Studio和Ollama目前不在iOS或Android上运行----移动需要单独的框架。

小型模型适合摘要吗？是的----摘要是小型模型最强的用例之一。Gemma 2 2B和Llama 3.2 3B可靠地生成高达〜4,000字的文本的准确摘要。对于较长的文档，使用具有大上下文窗口的模型，如Phi-4 Mini或Llama 3.2 3B（均128K令牌）。

2B模型在相同硬件上比7B模型快多少倍？在CPU上大约快2-3倍。Gemma 2 2B在同一笔记本电脑CPU上生成40-60令牌/秒对Mistral Small的10-20令牌/秒。在GPU上，速度优势缩小。速度差在仅CPU的机器上最明显。

小型模型支持函数调用吗？有些支持。Qwen3 3B支持函数调用和JSON模式。Llama 3.2 3B有基本的工具使用支持。Gemma 2 2B不支持函数调用。在构建依赖于结构化输出的管道之前检查模型文档。

英文以外的语言最好的小型模型是什么？Qwen3 3B原生支持29种语言，包括中文、日文、韩文和阿拉伯文。Gemma 2 2B和Phi-4 Mini主要是英文优化的。对于小型模型规模的非英文任务，Qwen3 3B是明确的选择。有关完整的语言比较，请参阅Qwen vs Llama vs Mistral 多语言比较。

日常任务中Phi-4 Mini和Llama 3.2 3B之间的区别是什么？Phi-4 Mini以几乎相同的RAM（每个2.5 GB）在推理、数学和编码上超过Llama 3.2 3B（68%对58% MMLU，70%对60% HumanEval）。对于日常任务----问答、摘要、简单解释----质量差距明显但不引人注目。Llama 3.2 3B拥有更广泛的社区支持和更多可用的微调。为结构化推理选择Phi-4 Mini；为通用聊天和兼容性选择Llama 3.2 3B。

我可以同时运行两个小型模型吗？可以，如果总RAM允许的话。两个3B模型在Q4_K_M下组合使用〜5 GB----在具有精益OS的8 GB机器上可行。Ollama默认按进程一次加载一个模型。在不同的端口（OLLAMA_HOST=:11434和OLLAMA_HOST=:11435）上运行两个Ollama实例以并行提供两个模型。这对于A/B测试输出很有用。

小型模型适合RAG（检索增强生成）吗？对于简单RAG是的。Llama 3.2 3B和Phi-4 Mini可以可靠地回答检索到的文档块上的问题。对于需要多跳推理的大型知识库上的RAG，7B+模型执行更加一致。GPT4All的LocalDocs功能为文档问答使用3B模型，对个人文档集合效果很好。

Phi-4 Mini在编码上比Llama 3.2 3B更好吗？是的。Phi-4 Mini在此规模达到60%对70% HumanEval得分，与Llama 3.2 3B相比有意义的10点差距。对于4-6 GB RAM机器上的编码协助，Phi-4 Mini是推荐选择。对于多语言编码（非Python），65% HumanEval的Qwen3 3B与Phi-4 Mini竞争，同时也支持函数调用。