欢迎光临
我们一直在努力

利用llama.cpp加载Qwen3.5-0.8B.BF16-mmproj.gguf模型文件识别图像和提取文字

Qwen3.5-0.8B是多模态模型,在ollama中打开时,默认能上传图像。 而用命令行

llama-server -m qw3508q4\\Qwen3.5-0.8B-UD-Q4_K_XL.gguf –jinja -c 0 –host 127.0.0.1 –port 8033

启动服务器,上传文件类型选择菜单中的image文字是置灰的,并有提示信息。只能上传文本文件、文本类型pdf(非图像扫描)。 在这里插入图片描述

这就需要https://www.modelscope.cn/models/unsloth/Qwen3.5-0.8B-GGUF/files目录下的Qwen3.5-0.8B.BF16-mmproj.gguf文件。 改后的命令行如下: 注意必须用选项-mmproj加载mmproj.gguf模型文件,而不能用-m。

C:\\d\\models>\\d\\llama8\\llama-server -m qw3508q4\\Qwen3.5-0.8B-UD-Q4_K_XL.gguf –mmproj qw3508q4\\Qwen3.5-0.8B.BF16-mmproj.gguf –jinja -c 0 –host 127.0.0.1 –port 8033 –reasoning-budget -1

srv init: init: chat template, thinking = 0
main: model loaded
main: server is listening on http://127.0.0.1:8033

然后在浏览器中输入http://127.0.0.1:8033,就能看到上传文件类型选择菜单中的image文字已经变黑,没有提示信息了。

在这里插入图片描述

上传一幅图片和一个截图测试,都能较好识别。 在这里插入图片描述 在这里插入图片描述

在这里插入图片描述

但将对图片的描述输入,他告知不能生成图像,用网页版的qwen 3.5plus可以生成。 在这里插入图片描述

描述复杂图像不够精确,不如思考过的ollama, 试图用–reasoning-budget -1打开llama.cpp思考模式也没有成功,仍然输出thinking = 0。

C:\\d\\models>\\d\\llama8\\llama-server -m qw3508q4\\Qwen3.5-0.8B-UD-Q4_K_XL.gguf –mmproj qw3508q4\\Qwen3.5-0.8B.BF16-mmproj.gguf –jinja -c 0 –host 127.0.0.1 –port 8033 –reasoning-budget -1

srv init: init: chat template, thinking = 0
main: model loaded
main: server is listening on http://127.0.0.1:8033

赞(0)
未经允许不得转载:171主机测评 » 利用llama.cpp加载Qwen3.5-0.8B.BF16-mmproj.gguf模型文件识别图像和提取文字
分享到: 更多 (0)

评论 抢沙发

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址