dsh-minimal-vision

保持极简模式的上下文边界，同时获得按需视觉能力

中文 · English

该视觉插件不是新的聊天模型，也不是第三个常驻工具。它只在需要时，通过隐藏上下文和 Bash 进入 Agent 工作流。

为什么基于极简模式？

极简模式的优势不只是工具少，更重要的是首轮请求拥有干净、稳定的 system prompt 和工具面。测试中观察到要触发 DS 的灰测行为水平依赖这个起点；额外 system prompt、聊天工具或视觉模型注册都可能改变它。

本插件不改写极简模式的 system prompt，也不注册新的聊天模型。视觉说明、图片路径和文档路径作为一条默认折叠的 context 与用户消息一起进入，原有两个工具保持不变，在尽量保留极简模式行为的同时提供识图能力。

工作流程

1. 用户在 vision-assist 模式中拖入图片或文档。
2. 图片由 sharp 自动纠正方向、铺平透明背景，并将长边限制为 1600 px；PDF、DOC、DOCX、PPT、PPTX 原样保存。
3. 插件把本地附件路径放入隐藏 context，用户消息气泡保持干净。
4. Agent 自行判断如何用 Bash 读取或导出文档，并在需要视觉证据时调用视觉模型。

支持 PNG、JPEG、WebP、GIF、PDF、DOC、DOCX、PPT 和 PPTX；一次最多处理 4 张图片。“测试连接”只发送最小纯文本请求，不上传附件。Vision 配置独立存在，不会出现在聊天模型列表。

附件在发送时写入 $DSH_HOME/cache/dsh-tool-vision/ 本地缓存，隐藏 context 只包含本地路径。文档本身不会直接发送到视觉接口；只有 Agent 调用 dsh-vision 时指定的图片才会发送给已配置的视觉服务。

安装

git clone https://github.com/Flora233333/dsh-minimal-vision.git
cd dsh-minimal-vision
npm install
dsh plugin --profile web add .
dsh web

启动后选择“视觉辅助模式”，并在“设置 -> Vision”中完成配置。

配置

插件没有写死服务商地址。CLI 每次读取 $DSH_HOME/settings.yaml 和 $DSH_HOME/.credentials.yaml；环境变量 VISION_API_KEY 优先级更高。

手动调用

"${DSH_HOME:-$HOME/.dsh}/bin/dsh-vision" \
  analyze --task custom --instructions "描述图中可见内容" -- /path/to/image.png

内置任务：custom、slide_review、figure_semantics、caption_grounding、flowchart_extract。PPT/PPTX/PDF 需要先由 Agent 导出为图片。

开发

npm install
npm run check
npm test

请勿提交 node_modules/、.playwright-cli/、.env 或任何 DSH 凭据文件。