跳到主要内容

Lawsight - Visual Language Harness

VincentWei    2026年11月16日 19:56:56

核心命题:不微调任何权重,仅靠编排层让任意现成 MLLM 学会"在视觉空间中思考与编码",在 22 个真实世界基准上平均提升 9.7–12.6 分。

一、总体架构

单一 YAML 配置驱动的四层解耦系统:

MainAgent(编排循环,每题独立)
 ├─ Model Adapter   协议适配:Chat Completions (Qwen/Kimi) / Responses (GPT)
 ├─ Capabilities ×9 任务级工具接口 + 证据渲染
 │    └─ ToolClient ─HTTP→ Tool Router (FastAPI, 按后端组限流)
 │         └─ Backends: SAM3 / PaddleOCR-VL / DepthAnything3 / Serper / 本地Python
 └─ Memory          每问重置:image / tool_context / url 三个注册表

部署形态 = 主模型(任意)+ 辅助 Qwen3-VL-8B(搜索摘要专用)+ 3 个 GPU 感知服务 + 1 个路由进程。评测层 evaluation_kit 与 harness 完全解耦,像普通应用一样调用它。

二、技术实现原理(源码级)

1. 编排循环 — agent.py:136
每题 fresh memory;最多 15 轮,每轮强制单工具调用(一轮多调用则全部拒绝并返回纠错消息);工具结果按"原生 tool 消息 + user 角色证据 + 一条合并的 Environment Update"回注历史;末轮强制索要答案,从 <answer> 标签抽取;Qwen 用本地 tokenizer 按 168k 上限压缩历史,GPT 交给 provider 管理上下文。

2. Capability 层(核心抽象) — _base.py:112
每个能力走统一生命周期:JSON-Schema 校验 → 从 memory 解析 image_id/URL 引用 → 参数翻译 → HTTP 执行 → 结果结构校验 → 按"图→数据绑定→URL"顺序注册 artifacts → process_output 渲染模型可读证据 → normalize_result 产出规范化数据。同一公共工具可热插拔后端(SAM3 ↔ GroundingDINO)。典型渲染:grounding 给模型看 0–1000 归一化整数框 + 编号标注图,全精度像素框只进评测 sidecar 不进上下文;空结果附带"换更简单 query 重试"的引导。

3. 多模态记忆 — store.py:14
三个注册表:图像(data URL 去重、远程 URL 懒下载)、数据绑定(segment_<query> 等 Python 变量名 + 类型/形状/预览描述符)、网页 URL 引用。每次成功调用后发布 Environment Update 清单(前缀声明"不是新问题"),模型只能引用清单中的 handle,禁止编造路径/URL。float32 深度图、RLE mask、相机矩阵等原生数组留在内存供代码取用,模型只看摘要——这是"多模态记忆"区别于纯文本记忆的关键。

4. Python Coding Agent — coding.py:140、executor.py:220
编排模型只传自然语言 objective → 注入绑定描述符 → 路由侧用同一 backbone 在全新上下文(注释式 Data Catalog + 目标,4096 token)生成代码 → 本地子进程对深拷贝绑定执行:30s 硬超时杀进程组、64KiB 输出上限、剥离凭证类环境变量、临时工作目录。生成变量不回写记忆;执行错误作为成功结果内的字段返回(不判工具失败),代码+输出+变量预览回显给编排模型。

5. 搜索证据压缩 — serper_text_search/tool.py:89
Serper 取 10 条 → 辅助 8B 模型一次调用输出 kept_indices(top-3 序号)+ 覆盖全量结果的 3–5 句摘要。URL 完整性由构造保证:LLM 只输出序号不碰 URL,原文条目按序号逐字切片保留,摘要再防御性清洗 URL/引用符。图像搜索并行抓缩略图、预过滤失败项、图文交错送多模态摘要器。失败/空结果返回结构化恢复提示(区分瞬态/永久/账户级错误)。

6. 可靠性工程 — server.py:164
瞬态 HTTP 错误指数退避重试 8 次;路由按后端组信号量限流(depth/camera 共享 DA3 容量);任务参数禁止携带 server_url/key 等服务字段(部署配置与模型输入边界隔离);降级计数器 + 健康端点;run manifest 记录配置与 prompt 哈希,保证可复现与 resume 校验。

三、设计原理

原则 体现
证据驱动,训练免费 论文论点:单纯加推理预算收益有限,瓶颈是外部可验证证据。提示词明确"工具输出是证据不是真理",grounding 结果是候选区域而非答案
四层契约分离 agent 管轮次/停止/报告;capability 管语义/schema/证据;service 只执行不读 memory;memory 只存通用 artifacts 不解释工具字段 → 换模型/换后端/加工具互不牵连
双轨数据表示 模型可见轨(压缩文本+标注图+handle 清单)与机器可用轨(原生数组/全精度框)分离,避免大数组序列化进上下文
成本分层 脏活(搜索重排/网页抽取)交 8B 辅助模型,主模型只做决策;代码生成用独立短上下文。低推理档 Luna 即超基线/Codex/Sketchpad 满档,token 成本 ≤26%
失败即证据 所有失败路径返回结构化、带恢复建议的可读消息而非裸异常;摘要失败降级回原始结果并计数
安全边界诚实 代码执行明确声明"不是沙箱",以进程隔离+超时+输出限界+凭证剥离做工程缓解,文档要求隔离环境运行

四、效果与消融(论文已核实数字)

  • 主表(22 基准均分):Qwen3-VL-8B 34.24→45.41,32B 38.30→50.92,GPT-6 Luna 45.76→56.52;对比 OctoTools 31.80、Visual Sketchpad 30.49(8B)、Codex 43.78(Luna)。
  • 消融(Table 3,8B/32B):无工具 37.06/41.29 → 裸工具 API 40.84/45.61 → +能力层 44.23/48.80 → +文本记忆 44.93/49.12 → +多模态记忆 47.14/52.51。能力层与多模态记忆是两大增益来源。
  • 失败模式:感知类 75% 源于工具输出错误,搜索类 49% 源于漏调工具——提示词中大量规则正是针对这两点。

五、可借鉴点(对多智能体产品)

"公共能力接口 + 可插拔后端 + 每会话 artifact 注册表 + 环境清单回注"是一套可直接复用的 tool-use 中间件模式;用序号而非让 LLM 复述 URL/数据来保证引用完整性、描述符目录 + 副本执行的代码代理两个手法,对控制上下文膨胀与幻觉引用尤其有效。

最近更新: 2026年11月16日 19:56:56
浏览: 9

[[total]] 条评论

添加评论
  1. [[item.time]]
    [[item.user.username]] [[item.floor]]楼
  2. 点击加载更多……
  3. 添加评论