目标#

实现一个Mini的Decoder-Only Transformer复习一下大致架构。

不会使用BPE，Rope，AdamW等等。理解网络结构，建立直觉为主。

将Pytorch视为一个“支持自动求导的矩阵库”来使用。

当输入是hello wo时，希望该迷你网络能输出下一个字符为r。

网络#