📋大模型推理加速手段整理

Overview👀

LLM 推理指标

• FTT(First Token Time): 一个request从输入到输出的第一个token的延迟

• TPS(Tokens Per Second):一个request的平均每秒的输出tokens数

• Throughput：吞吐量，即服务在一秒内，对所有request生成的token的数量之和。

• Quality: 推理结果的质量

优化分类

• AI算法优化：优化模型，在不明显降低质量的情况下，加速推理。如：GQA, MQA, Sliding Windwo Attention …

• 系统优化：不改变模型语义，优化MLSyS，加速推理。如：KV Cache, Flash Decoding++…

系统优化对指标的影响

System Optimization 🤖

Low-bit / Quantization

• Quantization-Aware Training：训练时就考虑到量化

• Post-Training Quantization：训练时不考虑量化，训练完成后再进行量化

• fp8/bf8…：低精度浮点数

Model parallelism

• TP，张量并行

• PP，流水线并行

• SP ，序列并行(ring Attention， seq维度并行)

• FlashDecoding(++), FlashAttention的decoding版本，利用online softmax，在KV上面做并行

Memory Management

• KV Cache：cache之前tokens的kv，下一轮直接使用，避免重复计算。

• naive approach: FasterTransformer根据max seq_len预分配一块连续的memory。内存浪费比较大。

• Page-Attention: vLLM 将KV cache分为多个不连续的物理page，decoding时，按需分配，使用block table记录需要的page的位置，与操作系统的页表相似。
• 由于page attention天然的对kv cache进行分块，所以在decoding计算attention时，可以自然地使用FlashDecoding。

• Preifx Cache： 将KV Cache以前缀树的形式，组织起来，在不同对话中共享。

Request Scheduling

Kernel Optimization

• 单个算子的基本优化，比如GEMM….

• FlashAttention: 利用online softmax实现分块attention，使得attention的空间复杂度从降低到了

• FlashDecoding: 针对推理decoding阶段的优化版本，在kv维度可以进行并行

• FlashDecoding++： 在Flash Decoding的基础上，进一步改良，softmax使用Unified-Max，使得每个Split内部各个步骤没有依赖，可以并行。

Algorithmic Innovations📏

Decoding Algorithm

非自回归

• 非自回归

• 半自会归

• blockwise parallel decoding： 一次前向，生成多个token

Speculative decoding

• Tree-based Speculative Inference， 使用多个小模型，每个小模型都向后预测多个token，然后组织成一棵树，通过精心设计的mask，可交由大模型一次验证。

Early exiting

Cascade inference

Architecture Design

Attention compression

• sliding window attention

• dilated attention

• …

• adaptively sparse attention

• …

Activation sharing

Conditional computing

Recurrent unit

模型压缩方向

Knowledge Distillation 知识蒸馏

Network pruning 剪枝