Happy-LLM

一个系统性的 LLM 学习教程,将从 NLP 的基本研究方法出发,根据 LLM 的思路及原理逐层深入,依次为读者剖析 LLM 的架构基础和训练过程。

作者
Datawhale成员
出版社
发行日期
2025-01
Happy-LLM

happy-llm 是 Datawhale 团队推出的一个系统性的大语言模型 (LLM) 学习教程。该项目旨在帮助学习者深入理解 LLM 的核心原理与训练过程,从 NLP 基础概念出发,逐步剖析 Transformer 架构、预训练语言模型原理,直至大模型的定义、训练策略与涌现能力。其核心目标是为读者构建坚实的理论基础,清晰梳理 LLM 的技术脉络与发展。

项目显著特色在于强调动手实践,包含动手实现一个完整的 LLaMA2 模型​(第5章)以及掌握从预训练到微调(包括LoRA/QLoRA)的全流程训练实践​(第6章)。此外,还涵盖模型评测、RAG(检索增强生成)和 Agent(智能体)等前沿应用技术(第7章)。作为免费开源项目,它非常适合具备一定编程和深度学习基础的大学生、研究人员及 LLM 爱好者,通过理论与实践结合,真正掌握大模型开发。

相关图书

普通人如何抓住DeepSeek红利

清华大学发布的66页指南《普通人如何抓住DeepSeek红利》,通过案例教学和场景拆解,为零基础用户提供提示词技巧及AI工具应用方案

动手实践人工智能

一个专注于结合理论与实践的机器学习学习网站,旨在帮助初学者从零入门机器学习和深度学习。