如何在 8 GB 显存上本地运行腾讯 WeVisOne-VL-4B(Ollama 会丢失掩码功能)

云向阳AI 前沿📡 BestBlogs·AI高分精选⭐ 862026-10-30204 阅读💛 46 收藏
如何在 8 GB 显存上本地运行腾讯 WeVisOne-VL-4B(Ollama 会丢失掩码功能)

📌 One-Sentence Summary

本文详细介绍了如何在 8GB 显存的本地环境下运行腾讯 WeVisOne-VL-4B 视觉感知模型,涵盖了检测、分割和 OCR 等多种任务。

📝 Summary

腾讯发布了 WeVisOne-VL-4B 视觉语言模型,该模型基于 Qwen3-VL。与普通的聊天模型不同,该模型专注于感知任务,如检测框、点、计数、分割 mask 和 alpha mattes。文章分析了该模型的架构参数、相对于 Qwen3-VL-8B 的基准测试对比,并提供了使用 llama.cpp 或 Ollama(通过 GGUF)在 8GB 显存上运行的指南。同时指出了 Ollama 版本目前无法生成掩码(masks)的问题。

💡 Main Points

WeVisOne-VL-4B 是专注于感知而非纯对话的模型

不同于常见的通用视觉对话模型,它专门用于输出检测框、点、计数和分割掩码等结构化感知数据。

本地 8GB 部署可行性

通过 Q4_K_M GGUF 格式,该模型可以在 8GB 显存的显卡上流畅运行,但使用 Ollama 直接拉取时会丢失掩码生成功能。

出色的拒绝率(Rejection Rate)

在 WeRef 基准中,该模型达到了 96.4% 的目标拒绝率,远高于 Qwen3-VL-8B 的 18.3%,这使其更适合集成到自动化流水中。

架构与局限性

模型采用 24 层 ViT 架构,配备 9.6M 参数的像素解码器。目前缺乏在 DocVQA、MMMU 等通用 VLM 基准上的测试数据。

💬 Key Quotes

它其实是一个感知模型:检测框、点、计数、文本位置、分割掩码和 alpha mattes,全部来自一个基于 Qwen3-VL 构建的 4B 检查点。

拒绝率数字才是我关心的。

达到 96.4% 时,你可以把检测器放进流水线;而 18.3% 时,你最终只能一直盯着它。

📊 Article Meta

AI Screening: 86

Source: DEV Community: machinelearning

Author: Alan West

Category: 人工智能

Language: 英文

Read Time: 7 min

Word Count: 1613

Tags:

AI 与智能应用 , 计算机视觉 , 视觉语言模型 , 机器学习 , 开放权重模型

#AI 与智能应用# 计算机视觉# 视觉语言模型# 机器学习# 开放权重模型

文章评论(12)

晨沐雨16 天前

写得挺用心的,支持一下。

回复
曹浩16 天前

这个观点很中肯,深有同感。

回复
陈皮话梅糖16 天前

写得挺用心的,支持一下。

回复
暮临风16 天前

支持作者,持续关注中。

回复
星知秋16 天前

这个观点很中肯,深有同感。

回复
雪知秋16 天前

支持作者,持续关注中。

回复
雪知秋16 天前

这个比较实用,已转发给同事。

回复
墨沐雨16 天前

收藏了,以后慢慢研究。

回复
吴超16 天前

有没有更详细的教程,期待后续。

回复
空向阳16 天前

内容翔实,正好需要,先收藏再看。

回复
雪影16 天前

不错不错,已加入书签。

回复
郭超16 天前

看完了,收获满满,期待更多更新。

回复