RoPE详解
crabboss RoPE旋转编码已经成为大模型的基础建设…
Read More大模型
实现最简单的MoE模块
MoE模型已经成为大模型不可或缺的一环。…
Read More预训练一个自己的TinyStories
本项目来源：从头预训练一只超迷你 LLa…
Read More预训练 – GPT2的预训练过程
本文根据nanoGPT的思路，使用Ope…
Read MoreLMDeploy推理引擎初体验
1 简介 LMDeploy 由 MMDe…
Read MoreLLaMA架构深度探析
LLaMA架构的设计可以说是引领了整个开…
Read More