关于在 Llama.cpp 中使用 Gemma 4 图像设置的简要说明

发布日期:2026-04-03 10:01:33   浏览量 :2
发布日期:2026-04-03 10:01:33  
2

2026西湖龙井茶官网DTC发售:茶农直供,政府溯源防伪到农户家 

在我上一篇文章中,我提到了使用 --image-min-tokens 来提升 Qwen3.5 模型对图像响应的质量。这次我尝试以同样的方式加载 Gemma 4,却遇到了一个错误:

[58175] srv  process_chun: 正在处理图像...
[58175] 正在编码图像切片...
[58175] 图像切片编码耗时 7490 毫秒
[58175] 正在解码图像批次 1/2,n_tokens_batch = 2048
[58175] /Users/socg/llama.cpp-b8639/src/llama-context.cpp:1597: GGML_ASSERT((cparams.causal_attn || cparams.n_ubatch >= n_tokens_all) && "非因果注意力要求 n_ubatch >= n_tokens") 失败
[58175] 警告:正在使用原生回溯功能。设置 GGML_BACKTRACE_LLDB 可获取更多信息。
[58175] 警告:GGML_BACKTRACE_LLDB 可能导致 macOS 原生终端应用崩溃。
[58175] 详见:https://github.com/ggml-org/llama.cpp/pull/17869
[58175] 0   libggml-base.0.9.11.dylib           0x0000000103a6136c ggml_print_backtrace + 276
[58175] 1   libggml-base.0.9.11.dylib           0x0000000103a61558 ggml_abort + 156
[58175] 2   libllama.0.0.0.dylib                0x0000000103eacd70 _ZN13llama_context6decodeERK11llama_batch + 5484
[58175] 3   libllama.0.0.0.dylib                0x0000000103eb098c llama_decode + 20
[58175] 4   libmtmd.0.0.0.dylib                 0x0000000103b8f7e8 mtmd_helper_decode_image_chunk + 948
[58175] 5   libmtmd.0.0.0.dylib                 0x0000000103b8fea4 mtmd_helper_eval_chunk_single + 536
[58175] 6   llama-server                        0x0000000102fb4d94 _ZNK13server_tokens13process_chunkEP13llama_contextP12mtmd_contextmiiRm + 256
[58175] 7   llama-server                        0x0000000102fe3318 _ZN19server_context_impl12update_slotsEv + 8396
[58175] 8   llama-server                        0x0000000102faaca0 _ZN12server_queue10start_loopEx + 504
[58175] 9   llama-server                        0x0000000102f3a610 main + 14376
[58175] 10  dyld                                0x00000001968edd54 start + 7184
srv    operator(): http 客户端错误:读取连接失败
srv  log_server_r: 请求已完成:POST /v1/chat/completions 127.0.0.1 500
srv    operator(): 实例名称=gemma-4-31B-it-UD-Q8_K_XL 已退出,状态码为 1

如你所见,此次崩溃的原因是我没有设置 ubatch。

[58175] /Users/socg/llama.cpp-b8639/src/llama-context.cpp:1597: GGML_ASSERT((cparams.causal_attn || cparams.n_ubatch >= n_tokens_all) && "非因果注意力要求 n_ubatch >= n_tokens") failed

免责声明:本文内容来自互联网,该文观点不代表本站观点。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容,请到页面底部单击反馈,一经查实,本站将立刻删除。

关于我们
热门推荐
合作伙伴
免责声明:本站部分资讯来源于网络,如有侵权请及时联系客服,我们将尽快处理
支持 反馈 订阅 数据
回到顶部