这几天在使用llama.cpp遇到了一个坑，查阅了网上基本没啥资料提过，最后通过ollama部署的qwen3.6才有进展并解决。 坑点 就是在上篇中下载使用了在github中发布的cuda版本，于是就愉快地运行了，以为部署就完成了，毕竟运行结果测试都是正常的。直到在部署 hermes 时问题来了，在
新电脑到了，自然少不了本地搭建一套本地大模型环境了，毕竟16G的显存还是嘎嘎抗揍的。之前用的比较多的是使用ollama搭建，不过看了最近比较火的 llama.ccp之后决定尝试看看， 学习 llama.cpp 时，不用深究底层原理、复杂编译优化和模型量化细节，日常 90% 的落地场景，都是用 CLI
