Tag
2 篇笔记
从注意力公式出发，算一笔显存账：KV Cache 是什么、为什么它决定了推理成本，以及写 prompt 时怎么蹭上缓存。
拆开一次对话的全过程：分词、向量、Transformer、采样，以及这套机制为什么会导致幻觉和数不清字母。
↑↓ 选择↵ 打开