讨论：参考 QMD 设计，默认使用本地向量化模型降低启动成本 / Discussion: Referencing QMD Design, Using Local Vectorization Models by Default to Reduce Startup Costs

[ZaynJarvis]

背景

QMD (Query Markup Documents) 是 Shopify 创始人 Tobi Lütke 开发的本地混合搜索引擎，最近在 OpenClaw 社区受到广泛关注。

核心建议

1. 默认使用本地向量化模型

QMD 的设计理念值得借鉴：

• 默认使用本地 GGUF 模型（embedding-gemma-300M，~300MB）

• 零配置启动：无需 API Key，无需网络请求

• 隐私优先：数据不向外部传输

• 可切换：支持通过环境变量切换到其他模型（如 Qwen3-Embedding 支持中文）

当前 OpenViking 需要配置远程 embedding API 才能运行，这对新用户是一道门槛。

2. 复用 OpenClaw 的模型配置

考虑到 OpenViking 定位是 OpenClaw 的上下文数据库，可以探索：

• OpenClaw 本身已经配置了 VLM 模型（如 doubao-seed-2-0-pro），用户为了运行 OpenClaw 必须跨越这道门槛
• OpenClaw 本身不需要配置 embedding 模型，所以 OpenViking 的 embedding 配置是额外的门槛
• 建议 OpenViking 可以复用 OpenClaw 的模型配置，自动推导或默认使用 OpenClaw 的 VLM 设置，避免用户重复配置

澄清：不是让 VLM 模型做 embedding，而是让 OpenViking 自动复用 OpenClaw 已有的模型配置，减少重复工作。

参考实现

QMD 的模型管理策略：

# 默认自动下载并使用本地模型
qmd embed

# 切换模型（可选）
export QMD_EMBED_MODEL="hf:Qwen/Qwen3-Embedding-0.6B-GGUF/Qwen3-Embedding-0.6B-Q8_0.gguf"
qmd embed -f

预期收益

• 降低启动成本：新用户无需申请 API Key 即可体验完整功能

• 提升隐私性：敏感数据不向第三方 embedding 服务传输

• 离线可用：无网络环境下仍可正常使用

• 与 OpenClaw 深度整合：复用已有模型配置，减少重复工作

可能的实现路径

• 集成 node-llama-cpp 或类似的本地 GGUF 推理能力

• 提供 embedding.provider: "local" 选项作为默认配置

• 检测 OpenClaw 配置，自动复用其模型设置

非常期待听到社区对这个想法的反馈！

[ZaynJarvis]

深入调研更新：OpenClaw QMD Backend 实际使用情况

基于本地安装测试和对 OpenClaw/QMD 源码的进一步调研，补充一些关键发现：

1. OpenClaw 与 QMD 的模型关系

OpenClaw 不暴露 QMD 模型配置 —— 当设置 memory.backend = "qmd" 时，OpenClaw 只是作为 QMD 的调用方，不干预 QMD 内部的模型选择。

从 OpenClaw GitHub issue #17263 可以确认：

"QMD handles its own embeddings internally — there's no modelPath in the OpenClaw config because QMD uses its own embeddinggemma model"

这意味着：

• OpenClaw 层面无法通过 openclaw.config.js 切换 QMD 的 embedding 模型
• 但可以通过 QMD_EMBED_MODEL 环境变量 影响 QMD（在启动 OpenClaw 前设置）

2. QMD 模型下载实测

模型	大小	下载时机	耗时 (我的网络)
embedding-gemma-300M	313MB	首次 qmd embed	~10秒
query-expansion-1.7B	1.2GB	首次 qmd query	~32秒
qwen3-reranker-0.6b	610MB	首次 qmd query	~17秒

总计约 2.1GB，首次使用需要等待模型下载。

3. QMD 官方推荐的模型切换方案

# 默认 embeddinggemma-300M（英文优化，~300MB）
# 如需多语言/CJK 支持，切换为 Qwen3-Embedding：
export QMD_EMBED_MODEL="hf:Qwen/Qwen3-Embedding-0.6B-GGUF/Qwen3-Embedding-0.6B-Q8_0.gguf"
qmd embed -f  # 强制重新 embed

注意：切换模型后必须重新生成所有向量（qmd embed -f），因为向量不跨模型兼容。

4. 对 OpenViking 的启发

考虑到上述调研结果，建议 OpenViking 在参考 QMD 时：

1. embedding 和 reranker 解耦：

   • embedding 模型是必须的（用于语义检索）
   • reranker 模型是可选的（用于提升质量），当用户没有 rerank API 时，可以考虑使用本地 rerank

2. 模型配置策略：

   • 未配置 embedding 模型时，默认使用本地 embedding 模型（如 Qwen3-Embedding-0.6B，多语言支持更好）
   • 首次启动时明确提示模型下载大小和预计时间

3. 与 OpenClaw 的集成：

   • OpenClaw 的 QMD backend 不暴露模型配置，完全由 QMD 自己管理。ov 保持现状，使用 ov.conf

[MaojiaSheng]

"首次使用需要等待模型下载" 如果默认行为能有较好的体验，相信非常有价值

[ZaynJarvis]

了解，先支持本地模型接入，未来看 benchmark 结果确定是作为

1. 未配置 embedding 时的兜底/默认选项
2. 还是供 developers 降低成本用的 advanced option

[Clivilwalker]

本地化向量模型是可以用的，只是它的red me中没有说明。使用ollama的模型

[MaojiaSheng]

"OpenViking 定位是 OpenClaw 的上下文数据库" 应该改成 "OpenViking 定位是 Agent 的上下文数据库"，OpenClaw 是其中之一。与 OpenClaw 深度整合并允许配置推导，可以是一个 addon feature

[ZaynJarvis]

[English Translation/Summary]

In-depth Research Update: OpenClaw QMD Backend Usage Analysis

Based on local installation testing and further investigation of OpenClaw/QMD source code, here are key findings:

1. OpenClaw & QMD Model Relationship

OpenClaw doesn't expose QMD model configuration. When setting memory.backend = "qmd", OpenClaw acts only as a QMD caller without intervening in QMD's internal model selection.

Confirmed by OpenClaw GitHub issue #17263: "QMD handles its own embeddings internally — there's no modelPath in the OpenClaw config because QMD uses its own embeddinggemma model"

This means:

• OpenClaw cannot switch QMD's embedding model via openclaw.config.js
• But can influence QMD through QMD_EMBED_MODEL environment variable (set before starting OpenClaw)

2. QMD Model Download Testing Results

Model	Size	Download Trigger	Duration
embedding-gemma-300M	313MB	First qmd embed	~10s
query-expansion-1.7B	1.2GB	First qmd query	~32s
qwen3-reranker-0.6b	610MB	First qmd query	~17s

Total ~2.1GB, requires waiting for model downloads on first use.

3. QMD Official Model Switching Approach

# Default: embeddinggemma-300M (English-optimized, ~300MB)
# For multilingual/CJK support, switch to Qwen3-Embedding:
export QMD_EMBED_MODEL="hf:Qwen/Qwen3-Embedding-0.6B-GGUF/Qwen3-Embedding-0.6B-Q8_0.gguf"
qmd embed -f # Force re-embedding

Note: After switching models, must regenerate all vectors (qmd embed -f) as vectors are not cross-model compatible.

4. Implications for OpenViking

Based on these findings, suggestions for OpenViking when referencing QMD:

• Decouple embedding and reranker: Embedding models are essential (for semantic search); reranker models are optional (for quality improvement)
• Model configuration strategy: When no embedding model is configured, default to local embedding model (like Qwen3-Embedding-0.6B for better multilingual support)
• Clear startup prompts: Inform users of model download size and estimated time on first startup
• OpenClaw integration: OpenClaw's QMD backend doesn't expose model config, fully managed by QMD itself. ov should maintain current approach using ov.conf