Nimble은 Bespoke Labs가 만든 90억 파라미터 규모의 의사결정 모델로, Qwen3.5-9B를 기반으로 fine-tuning되었습니다. 일반적인 챗봇처럼 긴 자유형 답변을 생성하는 모델이 아니라, 입력된 텍스트 또는 구조화된 상태를 미리 정의한 질문과 선택지에 따라 빠르게 판정하고 각 선택지의 확률을 반환하는 모델입니다.
이 문서의 주 출처는 Ollama Model Library의 공식 Nimble 페이지입니다.
Nimble은 어디에 쓰이나?
- 고객지원 티켓 라우팅
- True/False 조건 판정
- Agent가 Tool Call을 실행하기 전 Policy 검사
- Rubric 기반 점수화
- Model 또는 Agent Routing
- CRM Lead/Request 분류
- Tool-Using Agent용 빠른 Guardrail
따라서 Agentic AI, CRM, Workflow Automation과 잘 맞습니다.
일반 LLM과의 차이
일반 생성형 LLM은 자유로운 텍스트를 생성합니다. Nimble의 핵심 Decision Workflow는 허용된 답변 후보를 직접 score하며, 먼저 긴 reasoning 텍스트를 생성하지 않습니다. 따라서 Backend와 자동화 시스템에서 처리하기 쉬운 Typed Output을 얻을 수 있습니다.
주요 사양
- 개발사: Bespoke Labs
- 기반 모델: Qwen3.5-9B
- 크기: 약 9B
- 입력: Text
- 용도: Typed Decision / Classification
- 라이선스: Apache 2.0
- 필요 Ollama 버전: 0.35 이상
- 실제 Decision Prompt 기준 Context: 약 8,192 Token
- /v1/systemone의 질문 수: 164
- 질문 타입: choice, noul, score
일부 Ollama Tag 메타데이터에는 256K Context가 표시되지만, 현재 Nimble checkpoint와 Decision Workflow 문서는 8,192 Token 제한을 명시합니다. 실제 시스템 설계에서는 8K를 기준으로 하는 것이 안전합니다.
질문 타입
Choice
여러 선택지 중 하나를 선택합니다.
Noul
현재 Ollama Decision API에서 Boolean True/False 판정에 사용하는 타입 이름입니다.
Score
입력을 순서가 있는 Rubric의 단계에 배치합니다.
현재 /v1/systemone 문서에서는 choice와 score에 보통 226개 옵션을 설명합니다.
요구 사항
- Windows 10 이상
- 현재 다운로드 페이지 기준 macOS 14 Sonoma 이상
- Linux는 Ollama 공식 설치 절차 사용
- 9B 모델을 원활하게 사용하려면 GPU 또는 Apple Silicon 권장
- RAM/VRAM은 Quantization과 Context 길이에 따라 달라짐
Ollama 설치
Windows
공식 Windows 다운로드 페이지를 사용하거나 공식 PowerShell 명령을 실행합니다.
irm https://ollama.com/install.ps1 | iex설치 확인:
ollama --versionmacOS
공식 macOS 다운로드 페이지 또는 아래 공식 Terminal 설치 명령을 사용합니다.
curl -fsSL https://ollama.com/install.sh | shollama --versionLinux
공식 Linux 설치 페이지를 참고하거나 다음 명령을 사용합니다.
curl -fsSL https://ollama.com/install.sh | shollama --versionNimble 다운로드 및 실행
공식 모델 페이지: Ollama의 Nimble
ollama pull nimbleollama run nimbleollama list전체 모델 버전은 Nimble Tags 페이지에서 확인할 수 있습니다.
사용 가능한 모델 변형
| Tag | Quantization | 대략적 크기 |
|---|---|---|
| nimble / nimble:latest | Q8_0 | 9.5 GB |
| nimble:9b | Q8_0 | 9.5 GB |
| nimble:9b-q4_K_M | Q4_K_M | 5.6 GB |
| nimble:9b-q8_0 | Q8_0 | 9.5 GB |
| nimble:9b-bf16 | BF16 | 18 GB |
더 가볍게 시작하려면:
ollama pull nimble:9b-q4_K_MDecision API 사용
핵심 Endpoint:
localhost:11434/v1/systemone예시:
curl -s localhost:11434/v1/systemone \
-H "Content-Type: application/json" \
-d '{
"model": "nimble",
"state": {"message": "The customer was charged twice and asks for a reversal."},
"questions": {
"team": {
"type": "choice",
"instructions": "Select the responsible team.",
"criteria": {
"billing": "Payments and refunds",
"technical": "Technical issues",
"sales": "Plans and purchases"
}
},
"refund": {
"type": "noul",
"instructions": "Is a refund or reversal requested?"
}
}
}'Probability와 Confidence
모델이 0.90의 Probability를 반환한다고 해서 실제 서비스 데이터에서 정확도가 자동으로 90%가 되는 것은 아닙니다. confidence 역시 확률 분포가 얼마나 한 답에 집중되어 있는지를 나타내는 값입니다. Production에서는 자체 Dataset으로 Threshold를 Calibration해야 합니다.
Schema 작성 팁
- 옵션을 명확하고 가능한 한 서로 겹치지 않게 정의합니다.
- 해당되는 항목이 없을 수 있다면 other 또는 no_match를 추가합니다.
- Context를 짧고 관련성 있게 유지합니다.
- Criteria를 명시적으로 작성합니다.
- 질문 간 의존성은 애플리케이션 코드에서 검증합니다.
- 실제와 유사한 데이터로 평가한 뒤 Production에 적용합니다.
Agent Guardrail로 사용하기
Agent → Tool Call Proposal → Nimble Policy/Risk Check → Execute / Block / Human Review유해한 Tool Call 여부, Human Approval 필요 여부, Policy Compliance, Risk Level 등을 판단할 수 있습니다.
CRM 활용 예
- Ticket Routing
- Lead Classification
- Refund Eligibility
- Priority Scoring
- Escalation Detection
- Policy Enforcement
- Human Handoff
- Model / Agent Routing
Nimble은 보통 생성형 모델을 대체하지 않고 그 옆의 Decision Layer로 사용됩니다.
한계
Nimble은 긴 글 생성, 자유형 요약, Chain-of-Thought, 자유로운 Quote 추출, 임의의 Nested JSON 생성, Open-ended QA를 위한 모델이 아닙니다. 사용자가 정의한 허용 답변 중 하나를 결정합니다.
개인정보 보호
Ollama에서 로컬로 실행하면 inference가 자신의 컴퓨터에서 이루어집니다. 내부 CRM 데이터나 민감한 Tool Call 처리에 유리할 수 있습니다. 다만 전체 시스템의 Privacy는 함께 사용하는 다른 서비스에도 영향을 받습니다.
모델 제거 및 업데이트
ollama rm nimble
ollama list
ollama pull nimbleProduction에서는 nimble:9b-q4_K_M 같은 명시적 Tag를 고정하여 사용하는 것이 재현성에 유리합니다.
공식 링크 및 다운로드
설치, 모델 버전, 최신 문서는 아래 공식 링크를 사용하세요.
- Ollama의 Nimble 공식 페이지
- Nimble 전체 Tag 및 모델 변형
- Windows용 Ollama 다운로드
- macOS용 Ollama 다운로드
- Linux용 Ollama 설치
- Nimble 공식 GitHub 저장소
- Hugging Face의 Bespoke-Nimble-9B
- Ollama Decision Models 공식 블로그
결론
Nimble은 일반 챗봇이 아니라 Routing, Boolean Check, Rubric Scoring, Policy Enforcement, Tool Moderation을 위한 빠른 Typed Decision Model입니다. Ollama를 설치하고 ollama pull nimble을 실행한 뒤 /v1/systemone을 중심으로 실제 Decision Workflow를 구성할 수 있습니다.