跳转至

大模型核心算法层

核心算法层关心“模型本身怎么被造出来、怎么变强”。

判断标准:如果一个概念会改变模型参数、训练目标、模型结构或对齐方式,就放在这里。

子目录 关注点
01_Tokenizer与文本建模 文本到 token 的映射,词表、特殊 token、Chat Template
02_Transformer与模型架构 Attention、RoPE、RMSNorm、SwiGLU、MoE
03_预训练 数据、目标函数、Scaling Law、训练配比
04_后训练与偏好对齐 SFT、Reward Model、RLHF、DPO、GRPO
05_高效微调 LoRA、QLoRA、Adapter、Prefix/Prompt Tuning
06_模型评测与安全 benchmark、LLM-as-a-Judge、幻觉、安全对齐

一句话:核心算法层解决“模型能力从哪里来”。