LLM（Large Language Model，大语言模型） 是许多现代人工智能系统的核心，包括聊天助手、编程助手、企业搜索和 AI Agent。

LLM 最基本的训练目标其实很简单：

根据前面的 Token 预测下一个 Token。

例如输入：

The capital of France is

模型通常会给 Paris 一个很高的概率。

当这种训练在海量数据和大型神经网络上进行时，模型会获得总结、翻译、编程、分析和一定程度的推理能力。

但是必须理解一点：LLM 本身不是一个经过验证的事实数据库。它的基本任务是生成概率上合理的文本。

Token

模型通常不会直接按照人类理解的完整单词处理文本，而是把文本拆成更小的单位，称为 Token。

Token 数量会影响：

API 成本
响应延迟
最大输入长度
最大输出长度
Context Window 使用量

因此，128K Context Window 指的是大约 128K Token，而不是 128K 个单词。

Transformer

大多数现代 LLM 都建立在 Transformer 架构之上。

Transformer 最重要的机制之一是 Attention（注意力）。

Attention 可以帮助模型判断，在处理当前 Token 时，文本中的哪些其他 Token 更重要。

经典公式是：

Attention(Q,K,V) = softmax(QKᵀ / √dₖ)V

在开发 LLM 应用时，并不需要背下这个公式。

更重要的是理解：

Attention 让模型能够计算不同 Token 之间的关系。

Embedding

Token 首先会被转换成数字向量，这种表示称为 Embedding。

Embedding 可以理解为一个 Token 在高维语义空间中的数字表示。

Query、Key 和 Value

Attention 通常使用三种表示：

Query：我正在寻找什么信息？
Key：这里有什么信息？
Value：如果相关，应该传递什么内容？

Multi-Head Attention

Transformer 通常会同时运行多个 Attention Head。

不同 Head 可以学习不同关系，例如语法结构、语义关系、代词引用，以及文本中相距很远的内容之间的联系。

LLM 如何生成文本？

模型处理 Prompt 后，会计算下一个 Token 的概率分布。

选择一个 Token 后，再预测下一个 Token。

因此整个过程可以简单理解为：

Prompt → Token → Token → Token → ...

最终形成完整回答。

Temperature

Temperature 控制 Token 选择的随机程度。

较低 Temperature 通常适合：

数据提取
分类
JSON 输出
Tool 选择
业务流程

较高 Temperature 更适合创意写作和头脑风暴。

提高 Temperature 并不会让模型更聪明，只会让结果更加随机和多样。

Prompting

在实际系统中，Prompt 不只是一个问题，而是软件与 LLM 之间的接口。

好的 Prompt 应该明确说明：

模型的角色
任务
可用信息
限制条件
输出格式

较弱的 Prompt：

Analyze this customer.

更好的 Prompt：

Analyze the customer information below. Classify churn risk as low, medium or high. Do not invent missing information.

Zero-shot 与 Few-shot

Zero-shot 只提供任务说明。

Few-shot 会额外提供几个期望输出的例子。

当项目使用特殊分类规则或输出格式时，Few-shot 通常非常有效。

System Prompt

应用可以在 System Prompt 中定义核心规则，例如：

You are a CRM assistant. Never modify customer records without authorization.

用户请求则通过单独的 User Message 提供。

对于 Agent 系统来说，这种分离十分重要，因为用户不应该能够直接修改核心安全规则。

Structured Output

在生产系统中，与自由文本相比，结构化输出通常更容易使用。

例如：

JSON

{
  "risk": "high",
  "confidence": 0.81
}

但是，即使模型返回了 JSON，也不能直接信任它。

应用必须进行 Schema Validation 和业务验证。

Context Window

Context Window 是模型在一次请求中能够看到的信息范围。

其中可能包含：

System Prompt
历史对话
当前请求
检索到的文档
Tool 返回结果
当前生成的答案

可以把 Context Window 理解成模型当前的临时工作记忆。

它不是永久记忆。

而且 Context 并不是越大越好。过多无关信息可能增加成本和延迟，并让真正重要的信息被淹没。

更好的原则是：

提供足够且相关的信息，而不是提供所有信息。

RAG

假设公司有十万份文档，不可能把它们全部放进 Prompt。

使用 RAG（Retrieval-Augmented Generation） 时，系统首先检索与用户问题最相关的内容，然后只把相关部分放入 Context。

流程通常是：

Question → Retrieval → Relevant Documents → LLM → Answer

这是企业知识助手中非常重要的一种架构。

Hallucination

Hallucination（幻觉）是指模型生成看起来很合理、但实际上错误或没有依据的信息。

模型可能虚构：

论文
数据
API
客户信息
产品功能

原因在于模型的核心目标是生成合理文本，而不是保证每句话都是真实事实。

减少 Hallucination 的方法包括：

Grounding
RAG
Tool Use
明确要求模型不要猜测
Structured Output
Backend Validation
关键任务的人类审批

Tool Use

LLM 本身通常不知道真实系统中的最新状态。

例如，它不能可靠地知道某个订单当前在哪里，也不应该自己猜测客户数据。

应用可以向模型提供受控 Tool，例如：

get_customer(customer_id)

get_order_status(order_id)

create_lead(data)

send_email(to, subject, body)

典型流程是：

User → LLM → Tool Request → Backend → API/Database → Tool Result → LLM → User

Tool Use 是构建 AI Agent 的核心能力之一。

不要自动信任 Tool Call

假设模型请求：

delete_customer(218)

Backend 不能因为 LLM 请求了这个操作就直接执行。

在执行前至少应该检查：

Authentication
Authorization
Schema Validation
Business Rules
Risk Level
必要时的 User Confirmation

核心原则是：

LLM 可以建议执行某个操作，但真正决定是否允许执行的必须是应用程序。

实际示例：CRM Agent

假设用户说：

检查 Acme 的最新情况，如果 Opportunity 已经准备好，就把它改成 Won。

可靠的系统可以按照以下步骤运行：

理解用户意图。
调用 get_account('Acme')。
分析真实 CRM 数据。
如果信息不足，向用户提问，而不是猜测。
提议执行 Opportunity 更新。
Backend 检查用户权限。
对高影响操作要求确认。
最终由 Backend 执行实际修改。

这就是一个简单 Demo 和可靠 Production Agent 之间的重要区别。

Prompt 还是 Code？

适合放在 Prompt 中的内容：

任务说明
回答风格
行为要求
输出格式

应该由 Code 控制的内容：

Authentication
Authorization
Validation
安全规则
财务限制
关键 Business Rules
实际执行操作

如果某条规则对安全非常重要，就不能只依赖 Prompt。

总结

LLM 本质上是一个预测下一个 Token 的模型。

Transformer 帮助它理解 Token 之间的关系。

Prompt 定义当前任务和行为要求。

Context Window 决定模型当前可以看到哪些信息。

Hallucination 说明流畅可信的语言并不一定等于事实。

Tool Use 把 LLM 与真实数据和真实软件操作连接起来。

最重要的是：

一个强大的 LLM 并不会自动形成一个可靠的 AI 系统。真正可靠的系统需要正确的 Context、受控 Tool、Validation、Permission、Logging 以及良好的软件架构。

理解这些基础知识后，就可以继续学习 AI Agents、ReAct、Planning、Memory、Reflection、RAG、Orchestration 和 Adaptive Autonomy。

LLM（Large Language Model，大语言模型） 是许多现代人工智能系统的核心，包括聊天助手、编程助手、企业搜索和 AI Agent。

LLM 最基本的训练目标其实很简单：

根据前面的 Token 预测下一个 Token。

例如输入：

The capital of France is

模型通常会给 Paris 一个很高的概率。

当这种训练在海量数据和大型神经网络上进行时，模型会获得总结、翻译、编程、分析和一定程度的推理能力。

但是必须理解一点：LLM 本身不是一个经过验证的事实数据库。它的基本任务是生成概率上合理的文本。

Token

模型通常不会直接按照人类理解的完整单词处理文本，而是把文本拆成更小的单位，称为 Token。

Token 数量会影响：

API 成本
响应延迟
最大输入长度
最大输出长度
Context Window 使用量

因此，128K Context Window 指的是大约 128K Token，而不是 128K 个单词。

Transformer

大多数现代 LLM 都建立在 Transformer 架构之上。

Transformer 最重要的机制之一是 Attention（注意力）。

Attention 可以帮助模型判断，在处理当前 Token 时，文本中的哪些其他 Token 更重要。

经典公式是：

Attention(Q,K,V) = softmax(QKᵀ / √dₖ)V

在开发 LLM 应用时，并不需要背下这个公式。

更重要的是理解：

Attention 让模型能够计算不同 Token 之间的关系。

Embedding

Token 首先会被转换成数字向量，这种表示称为 Embedding。

Embedding 可以理解为一个 Token 在高维语义空间中的数字表示。

Query、Key 和 Value

Attention 通常使用三种表示：

Query：我正在寻找什么信息？
Key：这里有什么信息？
Value：如果相关，应该传递什么内容？

Multi-Head Attention

Transformer 通常会同时运行多个 Attention Head。

不同 Head 可以学习不同关系，例如语法结构、语义关系、代词引用，以及文本中相距很远的内容之间的联系。

LLM 如何生成文本？

模型处理 Prompt 后，会计算下一个 Token 的概率分布。

选择一个 Token 后，再预测下一个 Token。

因此整个过程可以简单理解为：

Prompt → Token → Token → Token → ...

最终形成完整回答。

Temperature

Temperature 控制 Token 选择的随机程度。

较低 Temperature 通常适合：

数据提取
分类
JSON 输出
Tool 选择
业务流程

较高 Temperature 更适合创意写作和头脑风暴。

提高 Temperature 并不会让模型更聪明，只会让结果更加随机和多样。

Prompting

在实际系统中，Prompt 不只是一个问题，而是软件与 LLM 之间的接口。

好的 Prompt 应该明确说明：

模型的角色
任务
可用信息
限制条件
输出格式

较弱的 Prompt：

Analyze this customer.

更好的 Prompt：

Analyze the customer information below. Classify churn risk as low, medium or high. Do not invent missing information.

Zero-shot 与 Few-shot

Zero-shot 只提供任务说明。

Few-shot 会额外提供几个期望输出的例子。

当项目使用特殊分类规则或输出格式时，Few-shot 通常非常有效。

System Prompt

应用可以在 System Prompt 中定义核心规则，例如：

You are a CRM assistant. Never modify customer records without authorization.

用户请求则通过单独的 User Message 提供。

对于 Agent 系统来说，这种分离十分重要，因为用户不应该能够直接修改核心安全规则。

Structured Output

在生产系统中，与自由文本相比，结构化输出通常更容易使用。

例如：

JSON

{
  "risk": "high",
  "confidence": 0.81
}

但是，即使模型返回了 JSON，也不能直接信任它。

应用必须进行 Schema Validation 和业务验证。

Context Window

Context Window 是模型在一次请求中能够看到的信息范围。

其中可能包含：

System Prompt
历史对话
当前请求
检索到的文档
Tool 返回结果
当前生成的答案

可以把 Context Window 理解成模型当前的临时工作记忆。

它不是永久记忆。

而且 Context 并不是越大越好。过多无关信息可能增加成本和延迟，并让真正重要的信息被淹没。

更好的原则是：

提供足够且相关的信息，而不是提供所有信息。

RAG

假设公司有十万份文档，不可能把它们全部放进 Prompt。

使用 RAG（Retrieval-Augmented Generation） 时，系统首先检索与用户问题最相关的内容，然后只把相关部分放入 Context。

流程通常是：

Question → Retrieval → Relevant Documents → LLM → Answer

这是企业知识助手中非常重要的一种架构。

Hallucination

Hallucination（幻觉）是指模型生成看起来很合理、但实际上错误或没有依据的信息。

模型可能虚构：

论文
数据
API
客户信息
产品功能

原因在于模型的核心目标是生成合理文本，而不是保证每句话都是真实事实。

减少 Hallucination 的方法包括：

Grounding
RAG
Tool Use
明确要求模型不要猜测
Structured Output
Backend Validation
关键任务的人类审批

Tool Use

LLM 本身通常不知道真实系统中的最新状态。

例如，它不能可靠地知道某个订单当前在哪里，也不应该自己猜测客户数据。

应用可以向模型提供受控 Tool，例如：

get_customer(customer_id)

get_order_status(order_id)

create_lead(data)

send_email(to, subject, body)

典型流程是：

User → LLM → Tool Request → Backend → API/Database → Tool Result → LLM → User

Tool Use 是构建 AI Agent 的核心能力之一。

不要自动信任 Tool Call

假设模型请求：

delete_customer(218)

Backend 不能因为 LLM 请求了这个操作就直接执行。

在执行前至少应该检查：

Authentication
Authorization
Schema Validation
Business Rules
Risk Level
必要时的 User Confirmation

核心原则是：

LLM 可以建议执行某个操作，但真正决定是否允许执行的必须是应用程序。

实际示例：CRM Agent

假设用户说：

检查 Acme 的最新情况，如果 Opportunity 已经准备好，就把它改成 Won。

可靠的系统可以按照以下步骤运行：

理解用户意图。
调用 get_account('Acme')。
分析真实 CRM 数据。
如果信息不足，向用户提问，而不是猜测。
提议执行 Opportunity 更新。
Backend 检查用户权限。
对高影响操作要求确认。
最终由 Backend 执行实际修改。

这就是一个简单 Demo 和可靠 Production Agent 之间的重要区别。

Prompt 还是 Code？

适合放在 Prompt 中的内容：

任务说明
回答风格
行为要求
输出格式

应该由 Code 控制的内容：

Authentication
Authorization
Validation
安全规则
财务限制
关键 Business Rules
实际执行操作

如果某条规则对安全非常重要，就不能只依赖 Prompt。

总结

LLM 本质上是一个预测下一个 Token 的模型。

Transformer 帮助它理解 Token 之间的关系。

Prompt 定义当前任务和行为要求。

Context Window 决定模型当前可以看到哪些信息。

Hallucination 说明流畅可信的语言并不一定等于事实。

Tool Use 把 LLM 与真实数据和真实软件操作连接起来。

最重要的是：

一个强大的 LLM 并不会自动形成一个可靠的 AI 系统。真正可靠的系统需要正确的 Context、受控 Tool、Validation、Permission、Logging 以及良好的软件架构。

理解这些基础知识后，就可以继续学习 AI Agents、ReAct、Planning、Memory、Reflection、RAG、Orchestration 和 Adaptive Autonomy。

LLM 基础：Transformer、Prompting、Context Window、Hallucination 与 Tool Use

Token

Transformer

Embedding

Query、Key 和 Value

Multi-Head Attention

LLM 如何生成文本？

Temperature

Prompting

Zero-shot 与 Few-shot

System Prompt

Structured Output

Context Window

RAG

Hallucination

Tool Use

不要自动信任 Tool Call

实际示例：CRM Agent

推荐架构

Prompt 还是 Code？

总结

什么是 Hermes Agent？从零搭建私有本地 AI Agent 的完整指南

AI Agents 与 Agentic AI：Agent Loop、Planning、Memory 与 Tool Calling

LLM 基础：Transformer、Prompting、Context Window、Hallucination 与 Tool Use

Token

Transformer

Embedding

Query、Key 和 Value

Multi-Head Attention

LLM 如何生成文本？

Temperature

Prompting

Zero-shot 与 Few-shot

System Prompt

Structured Output

Context Window

RAG

Hallucination

Tool Use

不要自动信任 Tool Call

实际示例：CRM Agent

推荐架构

Prompt 还是 Code？

总结

什么是 Hermes Agent？从零搭建私有本地 AI Agent 的完整指南

AI Agents 与 Agentic AI：Agent Loop、Planning、Memory 与 Tool Calling