开始前先吐槽一下，上次做版本升级的时候想着清理一下久的服务器快照，结果点成恢复了，导致丢了一篇文章，前段时间换了服务器，也算是升级了一下配置，看着26年一篇文章也没有，就随便记录一点东西吧
四五月份的时候稍微有点积蓄了，就买了一台新电脑，在这个时代，16G显存在本地模型部署上面只能说是一个比较尴尬的位置，需要花比较多的精力去不断尝试参数，才有可能找到一个符合自己需要的甜点配置和模型。从最开始尝试的Gemma 3系列，到中期的主力模型Qwen3.6 35B A3B，再到现在日常使用的Qwen3.8 27B，也是下过数十个模型和不同量化版本了，算是对5070 Ti这张卡能驾驭什么样的LLM有一定程度的个人理解。
首先最重要的还是推理引擎，对于个人使用的单并发场景，我个人觉得最好的就是llama.cpp，没有之一，现在hf上的各种量化模型，还是以gguf的量化形式为主，每次出新模型了总能最先用上社区的魔改量化或是微调版本。此外其迭代速度也还算比较快，对于新特性的支持就算官方仓库出于保守的原因没有马上合并，也会有其他人fork的仓库去实现这些特性，一个很好的例子就是Dflash 2，基本算法同步放出的就是llama.cpp上的分支版本，想要尝试的直接拉这个分支就好了，当然官方合并这个特性也算是比较迅速的。
Qwen3.6 35B A3B
我想先介绍一下Qwen3.6 35B A3B这个系列的模型，作为一个MoE架构的模型，其在36G内存，16G显存中的速度表现非常好，基本上能在256k上下文的情况下跑出70~80tps，个人使用的比较多的模型是Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive-Q4_K_M和Qwen-AgentWorld-35B-A3B-UD-Q4_K_M两个模型，前者作为最广受好评的去审查模型，在速度和智力上都还算可以，在openclaw和hermes上的表现都可以满足个人日常使用需要。而后者则是Qwen3.6系列在后期官方放出的AgentWorld系列调教的模型，这个系列我个人感觉是使用了更长的思考链来换取了一定程度的智商提升，在复杂任务上会有更好的表现，但是相对的耗时会比较长一点。
.\llama-server.exe `
-m "D:\AI\Qwen-AgentWorld-35B-A3B-UD-Q4_K_M.gguf" `
-ngl 99 `
-c 262144 `
-fa on `
-np 1 `
-ncmoe 22 `
-b 4096 `
-ub 1024 `
-ctk q8_0 `
-ctv q8_0 `
--host 0.0.0.0 `
--port 8080 `
--jinja `
--chat-template-file "D:\AI\chat_template.jinja" `
--reasoning-format deepseek `
--temp 0.6 `
--top-p 0.95 `
--top-k 20配置上得益于MoE架构，上下文可以开满256k，通过调整ncmoe参数将更多的专家卸载到内存中，卸载的越多相应的模型tps会越低，但是更加节约显存，卸载20~22层个人觉得是一个不错的甜点位置，对话模板这里感觉Qwen系列的模型一直都是需要一个模板来引导模型正确的进行输出的，但是实际区别可能我个人没有太看出来，但是加上了总归不会有问题。关于MoE模型的MTP，我个人尝试下认为如果显存不足以将模型完全加载的话，使用MTP带来的完全是负提升，对于16G显存来说直接选择无MTP的模型就好了，还节省MTP加载的显存。kv量化的个人觉得8 bit量化在256k上下文中并没有带来明显的性能损失，如果想要开满256k上下文的话这个kv量化是必须的。
Qwen3.8 27B
3.8 27B这个模型在开源社区的成功大家都有目共睹，但是其Dense的模型架构导致了要把它完全塞进一张16G显存的卡里面是一件比较困难的事情，最开始一般的量化版本，只有Q3的小尺寸模型可以勉强加载进去同时保留差不多128k的上下文，在这个量化程度上，实际智力降低还是比较明显的。最开始的时候我尝试的是Qwen3.8-27B-Uncensored-HauhauCS-Aggressive-IQ3_M，能在128k上下文中达到一个可用级别的智力水平，体感上比Qwen3.6 35B A3B还是厉害不少，很多操作不需要反复的试错，而是一次就能够做对了。后面我用的最多的是Qwen3.8-27B-GSQ-RCO-IQ3_S，GSQ-RCO虽然说是一个全新的量化策略，但是在27B这个尺寸下智力保留程度出奇的高，在160k上下文下能跑出接50tps，能满足一般场景下的本地模型需求了。
.\llama-server.exe `
-m "D:\AI\Qwen3.8-27B-GSQ-RCO-IQ3_S.gguf" `
-ngl 99 `
-c 161072 `
-fa on `
-np 1 `
-b 2048 `
-ub 1024 `
-ctk q4_0 `
-ctv q4_0 `
--host 0.0.0.0 `
--port 8080 `
--reasoning on `
--reasoning-budget 2048 `
--temp 1 `
--top-p 0.95 `
--top-k 20有区别的是，需要使用更激进的4bit kv量化才能塞得下这么长的上下文，这个配置在启动会会吃掉约15G的显存，同时需要预留一点来保证长上下文情况下模型不降速。思考的buget的设定也是必要的，不然很有可能触发雷霆大思考导致一直都没有结果。目前这个模型仍然作为每天常驻的模型在使用中，传为Qwen4系列快要发布了，期待一下Qwen4 27B的表现吧。
Comments NOTHING