RTX 5090 是 2026 年消费级阵营里 32GB 显存的主流选择：Blackwell 架构、32GB GDDR7、1.79TB/s 显存带宽，单卡把"14B 模型全精度推理"从勉强变成从容。这篇把 5090 与 4090 在 14B 全精度推理上的公开实测数据完整整理出来：显存账怎么算、速度差多少、哪些坑绕不过去，最后给一套升级决策框架。

一、为什么 32GB 成了本地推理的分水岭

14B 是目前"质量"和"本地可跑"的最佳平衡点：7B 快但推理和知识广度差一截，32B/70B 量化后显存要求依然夸张。FP16 全精度下 14B 光权重就要 14 × 2 = 28GB——24GB 的 4090 连权重都装不下，必须量化或 CPU offload（速度从几十 token/s 掉到个位数）；32GB 的 5090 装完权重还剩约 4GB 给 KV Cache 和运行时开销。

显存三块账（Qwen2.5-14B，GQA 8 个 KV 头）：

组成部分 8K 上下文 16K 上下文
FP16 权重 28GB（固定） 28GB（固定）
KV Cache（每 token ≈393KB） ≈3.2GB ≈6.4GB
CUDA 上下文/激活/临时缓冲 ≈1.5GB ≈1.5GB
合计 ≈32.7GB ≈36GB

结论：5090 在 4K 上下文下跑 14B 全精度很稳，8K 需要 --gpu-memory-utilization 0.96 才能稳住，16K 直接 OOM（KV Cache 预分配按 max-model-len 算，别盲目开大）。

二、5090 vs 4090 实测对比（社区公开数据，Qwen2.5-14B-Instruct）

测试平台：Ryzen 9 7950X + 128GB DDR5-6000 + Ubuntu 22.04 + CUDA 12.8 + vLLM/llama.cpp，每类任务跑 10 次取平均（去掉最高最低各两次）。

显存占用（nvidia-smi 稳定态采样）：

场景 5090 32GB 4090 24GB
模型加载后（空载） 29.1GB OOM
4K 上下文推理中 30.8GB（余量 1.2GB） —
8K 上下文推理中 32.4GB（需优化稳住） —
16K 上下文 / batch 4 OOM —

速度（TTFT 首 token 延迟 / 生成速度）：

模型/精度 平台 TTFT (ms) tokens/s
14B FP16 5090 420 38.5
14B FP16 4090 OOM OOM
14B Q4_K_M 5090 210 71.8
14B Q4_K_M 4090 280 52.3
7B FP16 5090 130 89.2
7B FP16 4090 180 62.4

关键结论：5090 的 7B 全精度比 4090 快 43%（89.2 vs 62.4 tokens/s）；长上下文 8K 边缘状态下 5090 比 4090 的 CPU offload 方案快约 4 倍——GDDR7 1.79TB/s 对 GDDR6X 1.0TB/s 的带宽差在 KV Cache 读写密集场景里体现得很明显。

三、踩坑记录（来自实测社区）

  1. 驱动/CUDA 版本坑：5090 上市初期驱动兼容性是大坑。至少 驱动 550+、CUDA 12.8 起步，用 12.4 会出各种莫名其妙的报错。
  2. 显存临界点的救法：--gpu-memory-utilization 0.95~0.96 可稳住，别超过 0.98，容易触发 OOM；关掉不必要的日志和监控再试。
  3. 4090 想跑全精度的死胡同：device_map 部分层 offload 到 CPU 速度惨不忍睹；FP16 加载 + 8bit KV 量化能降显存，但精度损失和速度下降都不小，失去"全精度"意义。
  4. --max-model-len 别盲目开大：KV Cache 按最大长度预分配，开 32K 等于提前锁死显存。

四、升级决策框架

你的场景 建议
只跑 7B/8B 量化、量化可接受 4090 24GB 够用，5090 溢价不值
14B 以上不想量化（FP16 全精度） 5090，4090 物理上跑不动
需要 8K 以上长上下文 + 全精度 5090（16K 以上两张卡或 48G 专业卡）
多轮对话/批量并发（batch≥4） 32GB 是硬门槛，4K 以下可行
微调/LoRA 训练 5090（或 48GB 卡，优化器状态额外吃显存）

一句话总结：24GB→32GB 这 8GB 不是 33% 的线性提升，而是跨过"能不能全精度"的门槛。有 14B+ 全精度或长上下文需求的，5090 是 2026 年消费级最优解；纯跑量化小模型的，现有 24GB 卡别急着换。