Nimble 是 Bespoke Labs 开发的 90 亿参数决策模型，基于 Qwen3.5-9B 微调。它不是传统的通用聊天模型。Nimble 的目标是接收文本或结构化状态，以及一组预先定义的问题和候选答案，然后快速做出结构化决策，并返回各候选项的概率。
本文的主要来源是 Ollama Model Library 中官方的 Nimble 页面。模型 Tag 和运行方式可能更新，因此应以该页面作为 Ollama 使用方式的主要参考。
Nimble 适合什么任务？
- 客服工单路由
- True/False 条件判断
- AI Agent 执行 Tool Call 前的 Policy 检查
- 基于 Rubric 的评分
- Model / Agent Routing
- CRM Lead 和 Request 分类
- Tool-Using Agent 的快速 Guardrail
因此它很适合 Agentic AI、CRM 和 Workflow Automation。
它与普通 LLM 有什么不同？
普通生成式 LLM 会生成开放式文本。Nimble 的核心 Decision Workflow 则直接对允许的答案进行打分，而不是先生成一段 reasoning。这样可以得到更稳定的 Typed Output，更容易被 Backend 和自动化流程消费。
主要规格
- 开发者：Bespoke Labs
- 基础模型：Qwen3.5-9B
- 参数规模：约 9B
- 输入：Text
- 主要任务：Typed Decision / Classification
- License：Apache 2.0
- Ollama 要求：0.35 或更高
- 当前决策 Prompt 的实际限制：约 8,192 Tokens
- /v1/systemone 每次请求的问题数：1–64
- 问题类型：choice、noul、score
部分 Ollama Tag 页面会显示 256K Context，但当前 Nimble checkpoint 和 Decision Workflow 文档给出的实际限制是 8,192 Tokens。生产设计建议以 8K 为准。
三种问题类型
Choice
从多个候选项中选择一个。
Noul
当前 Ollama Decision API 用于 Boolean True/False 判断的类型名称。
Score
把输入映射到一个有序 Rubric。
当前 /v1/systemone 文档通常规定 choice 和 score 使用 2–26 个候选项。
系统要求
- Windows 10 或更高
- 当前官方页面列出的 macOS 14 Sonoma 或更高
- Linux 按 Ollama 官方安装说明
- 为获得更好的 9B 模型性能，建议使用 GPU 或 Apple Silicon
- RAM/VRAM 需求取决于 Quantization 与 Context
安装 Ollama
Windows
打开 Ollama 官方 Windows 下载页面，也可以运行官方 PowerShell 安装命令：
irm https://ollama.com/install.ps1 | iex验证安装：
ollama --versionmacOS
使用 Ollama 官方 macOS 下载页面，或运行官方 Terminal 安装命令：
curl -fsSL https://ollama.com/install.sh | shollama --versionLinux
参考 Ollama 官方 Linux 安装页面，或运行：
curl -fsSL https://ollama.com/install.sh | shollama --version下载并运行 Nimble
官方模型页面：Ollama 上的 Nimble
ollama pull nimbleollama run nimbleollama list全部版本可在 Nimble Tags 页面 查看。
可用版本
| Tag | Quantization | 约占空间 |
|---|---|---|
| nimble / nimble:latest | Q8_0 | 9.5 GB |
| nimble:9b | Q8_0 | 9.5 GB |
| nimble:9b-q4_K_M | Q4_K_M | 5.6 GB |
| nimble:9b-q8_0 | Q8_0 | 9.5 GB |
| nimble:9b-bf16 | BF16 | 18 GB |
如果希望更轻量地开始：
ollama pull nimble:9b-q4_K_M使用 Decision API
主要 Endpoint：
localhost:11434/v1/systemone示例：
curl -s localhost:11434/v1/systemone \
-H "Content-Type: application/json" \
-d '{
"model": "nimble",
"state": {"message": "The customer was charged twice and requests a reversal."},
"questions": {
"team": {
"type": "choice",
"instructions": "Select the responsible team.",
"criteria": {
"billing": "Payments and refunds",
"technical": "Technical issues",
"sales": "Plans and purchases"
}
},
"refund": {
"type": "noul",
"instructions": "Is a refund or reversal requested?"
}
}
}'Probability 与 Confidence
0.90 的模型 Probability 并不等于你的真实业务数据上一定有 90% Accuracy。confidence 描述的是概率分布的集中程度。上线前应使用自己的 Dataset 进行 Calibration 和 Evaluation。
Schema 设计建议
- 候选项应清晰并尽量互斥。
- 如果可能没有匹配项，加入 other 或 no_match。
- Context 保持简短、相关。
- Criteria 明确描述。
- 多个问题之间的一致性由应用代码验证，因为问题会独立打分。
- 在 Production 前使用真实或接近真实的数据评估。
作为 Agent Guardrail
Agent → Tool Call Proposal → Nimble Policy/Risk Check → Execute / Block / Human Review可以判断 Tool Call 是否有风险、是否需要人工审批、是否违反 Policy，或属于哪个 Risk Level。
CRM 场景
- Ticket Routing
- Lead Classification
- Refund Eligibility
- Priority Scoring
- Escalation Detection
- Policy Enforcement
- Human Handoff
- Model / Agent Routing
Nimble 通常作为生成式模型旁边的 Decision Layer，而不是替代生成式模型。
局限性
Nimble 不适合长文生成、开放式摘要、Chain-of-Thought、自由引用提取、任意 Nested JSON 生成或开放式问答。它只在你定义的候选答案中进行决策。
隐私
通过 Ollama 本地运行时，inference 在自己的设备上完成。这对于内部 CRM 数据和敏感 Tool Call 很有价值。但整个系统的 Privacy 仍取决于你使用的其他 API 和服务。
删除与更新
ollama rm nimble
ollama list
ollama pull nimbleProduction 环境建议固定具体 Tag，例如 nimble:9b-q4_K_M，以提高可复现性。
官方链接与下载
安装、模型版本和最新文档请优先使用以下官方链接：
- Ollama Model Library 中的 Nimble 官方页面
- Nimble 全部 Tags 与模型版本
- 下载 Windows 版 Ollama
- 下载 macOS 版 Ollama
- 在 Linux 上安装 Ollama
- Nimble 官方 GitHub 仓库
- Hugging Face 上的 Bespoke-Nimble-9B
- Ollama Decision Models 官方博客
总结
Nimble 不是通用聊天机器人，而是用于 Routing、Boolean Check、Rubric Scoring、Policy Enforcement 和 Tool Moderation 的快速 Typed Decision Model。安装 Ollama 后运行 ollama pull nimble，并围绕 /v1/systemone 构建实际决策流程即可。