大语言模型概述
一句话定义
大语言模型（Large Language Model, LLM）是一种在海量文本上训练的神经网络，通过学习"下一个词是什么"这一任务，涌现出了语言理解、推理、代码生成等能力。
---
直觉类比
> 想象一位读过整个互联网的律师助理。他可能见过大量合同、判决书、法学论文，以至于他能写出听起来非常专业的文字——但他也可能自信地引用一个不存在的案例。
这是教学类比，不是对模型认知的定论。模型可以完成一些推理任务，但输出并不构成事实或法律正确性的保证。
---
工作原理（简化版）
输入文本（Prompt）
↓
分词（Tokenization）：文字 → 数字序列
↓
Transformer 处理：多层注意力 + 前馈网络
↓
输出概率分布：下一个 Token 的可能性
↓
采样：按概率选择下一个词
↓
重复直到生成完毕
详细架构见：01-概念/Transformer架构
---
规模的意义
| 模型 | 参数量 | 能力跃升 |
|------|--------|----------|
| nanoGPT | 可配置；示例约124M | 教学代码仓库，能力取决于权重和训练 |
| GPT-3 | 175B | 零样本推理能力出现 |
| GPT-4 | 技术报告未披露 | 特定测试表现不能等同执业能力 |
能力随规模变化的表现还取决于任务和评价方式，不能由参数量推定具体法律问题的准确率。
---
训练 vs 推理
| 阶段 | 描述 | 成本 |
|------|------|------|
| 预训练 | 在万亿 Token 文本上学习语言模式 | 极高（数百万美元） |
| 微调 | 在特定任务数据上调整参数 | 中等 |
| RLHF | 通过人类反馈对齐价值观 | 较高 |
| 推理 | 对用户输入生成回复 | 低（每次查询） |
详见：01-概念/预训练与微调
---
局限性
1. 幻觉（Hallucination）
模型会以高置信度编造不存在的事实。
法律实践影响：不能直接引用 LLM 提供的案例号、条文编号，必须人工核实。
2. 知识截止日期（Knowledge Cutoff）
模型内置知识受训练时点限制；外部检索可以提供更新材料，但需实际核验。
3. 推理可能出错
不能把流畅的推理过程当作结论已证实；事实、规则适用与反例仍需检查。
4. 上下文窗口限制
只能处理有限长度的文本；具体窗口依模型和产品版本确定，不在此维护通用数值范围。
---
与搜索引擎的区别
| 维度 | 搜索引擎 | LLM |
|------|----------|-----|
| 工作方式 | 检索现有文档 | 生成新文本 |
| 来源可查 | 通常提供链接，仍需核验 | 取决于检索工具和来源约束 |
| 实时性 | 受收录和更新延迟影响 | 内置知识有时点限制，可结合检索 |
| 综合分析 | 弱 | 强 |
| 事实可靠性 | 链接存在不保证内容正确 | 可能编造，必须核实 |
---
相关页面
来源
本轮核查来源与限制（2026-09-17）
只修本轮明确列出的陈述，不将旧页整篇升级为已验证。themis_only为本地保存和禁止外发的兼容标记，不代表本地模型推理。