大语言模型(LLM)

大语言模型(LLM) 超大规模预训练语言模型，展现涌现智能。 核心素养

🧬 知识点关系网络

⬆️ 预训练-微调范式，大模型成为AI基础设施。

📖 学习建议（阶梯式路径）

1. 缩放法则 —— 模型规模、数据量、计算量增加时，损失按幂律下降。
   💡 了解Chinchilla最优缩放定律——模型与数据应同步增长。
2. 提示工程 —— 零样本、少样本、思维链(CoT)——设计精巧的提示激发模型推理能力。
   💡 用思维链提示让模型解数学应用题，对比直接提问的效果。
3. 指令微调 —— 用人工标注的指令-回答对微调模型，使其更好地理解人类意图。
   💡 了解InstructGPT的训练流程：SFT + RM + PPO。
4. RLHF —— 基于人类反馈的强化学习，训练奖励模型，用PPO优化策略。
   💡 思考RLHF如何解决“对齐问题”——让模型输出有用、无害、诚实。

🧠 认知导航

前置依赖： 学习大语言模型(LLM)前，建议具备Python编程、线性代数、概率论基础。

后续延伸： 学完大语言模型(LLM)后，可继续深入AI的其他子领域或应用方向。

📚 核心知识点全景

• GPT系列演进 —— 从GPT-1到GPT-4
• BERT与双向预训练 —— MLM与NSP
• 缩放法则(Scaling Law) —— 更大模型更聪明
• 提示工程(Prompt Engineering) —— 激发模型潜能
• 指令微调与RLHF —— 对齐人类偏好

✨ 每个链接都是一扇门，推开即是新世界。

🏙️ 生活中的大语言模型(LLM)

🔗 权威参考

• 百度百科 · 大语言模型(LLM)
• Wikipedia · 大语言模型(LLM)

🤖 AI陪练指令

📁 更多人工智能AI指令 →