7900XTX 不只是为了"跑得动"，而是当成本地 LLM API 服务器长期服务——给 opencode、pi.dev 这类编码工具提供本地推理接口，代码不用出家门，隐私焦虑直接解决。
核心定位：不是跑分，是服务化
很多人买卡跑模型只测"能跑多少 tok/s"就结束了。真正的价值在于把模型当成一个 7×24 在线的本地 API 服务，挂在 0.0.0.0:8080 上，让上层工具（opencode、pi.dev 等编码 agent）直接调它。
好处：
- 代码不出家门：写敏感项目时，所有 prompt 和代码都在本地，不经过任何云端
- 不限量：本地 API 没有 token 配额、没有速率限制
- 离线可用：断网也能继续干活
配置
| 项目 | 规格 |
|---|---|
| GPU | 7900XTX 24GB |
| 模型 | Qwen3.6-27B Q4_K_M |
| 后端 | llama.cpp（ROCm TurboQuant / Vulkan 两套） |
| 上下文 | 256K |
| 服务地址 | 0.0.0.0:8080 |
两套后端实测对比（256K 上下文）
| 后端 | Prefill | Decode |
|---|---|---|
| ROCm + TurboQuant（turbo3 KV） | 970 t/s | 29 t/s |
| Vulkan（Q4_0 KV） | 730 t/s | 47 t/s |
怎么选：
- 要长上下文 prefill 快（大量长文档喂进去）：选 ROCm + TurboQuant
- 要decode 快（对话回复要快）：选 Vulkan
- 两者各有取舍，看你的工作负载是 prefill 重还是 decode 重
实际体验
目前测试，除了反应没在线 API 快，生成代码的质量不比在线 API 差。
这句话是关键：质量追平云端，隐私完全自己掌握。对写敏感代码的人来说，这就是买卡跑本地模型最值的地方。
一句话
7900XTX 的正确用法不是"跑一次分"，而是当成本地 API 服务器长期挂着，给编码 agent 当后端——代码不出家门，这才是这张卡真正的价值。