利用 Codex 调试通义智文 RAG 实现的一次逆向经历

# 0) (可选) 克隆本机 Chrome Profile 到临时目录（只复制必要文件）
# 说明：
# - 下面的 Profile 路径以 macOS + Chrome 的 Default profile 为例，你本地可能是 Profile 1/2。
# - 只建议在“自己的电脑、自己的账号”场景这么做。
Ran mkdir -p /tmp/agent-qwen-profile/Default
Ran cp "$HOME/Library/Application Support/Google/Chrome/Local State" /tmp/agent-qwen-profile/
Ran cp "$HOME/Library/Application Support/Google/Chrome/Default/Preferences" /tmp/agent-qwen-profile/Default/
Ran cp "$HOME/Library/Application Support/Google/Chrome/Default/Secure Preferences" /tmp/agent-qwen-profile/Default/
Ran cp "$HOME/Library/Application Support/Google/Chrome/Default/Cookies"* /tmp/agent-qwen-profile/Default/
Ran cp -R "$HOME/Library/Application Support/Google/Chrome/Default/Local Storage" /tmp/agent-qwen-profile/Default/

# 1) 启动带 CDP 的本机 Chrome（复用临时 profile）
Ran /Applications/Google\\ Chrome.app/Contents/MacOS/Google\\ Chrome \\
    --remote-debugging-port=9222 \\
    --user-data-dir=/tmp/agent-qwen-profile \\
    --headless=new --disable-gpu \\
    --no-first-run --no-default-browser-check \\
    about:blank

# 2) agent-browser 附着到 CDP
Ran agent-browser --session qwen-cdp connect 9222

# 3) 打开阅读页
Ran agent-browser --session qwen-cdp open 'https://www.qianwen.com/efficiency/doc/read?taskId=<TASK_ID>'
Ran agent-browser --session qwen-cdp wait --load networkidle

# 4) 清空并导出请求列表
Ran agent-browser --session qwen-cdp network requests --clear
Ran agent-browser --session qwen-cdp network requests --json > /tmp/qwen_requests.json

# 5) 用脚本过滤出 xhr/fetch + 关键词命中的 URL（示例：用 uv 跑 python）
Ran uv run python - <<'PY'
import json, re
obj=json.load(open("/tmp/qwen_requests.json"))
reqs=(obj.get("data") or {}).get("requests") or []
kw=re.compile(r"(list|doc|text|coordinate|json)", re.I)
for r in reqs:
    if (r.get("resourceType") or "").lower() not in ("xhr","fetch"):
        continue
    if not kw.search(r.get("url","")):
        continue
    print(r.get("resourceType"), r.get("method"), r.get("url"))
PY

# 6) 在页面里 fetch pages/*.json，看坐标字段（只看前 500 字符）
Ran agent-browser --session qwen-cdp eval --stdin <<'JS'
(async () => {
  const url = 'https://darwin-controller-pro.oss-cn-hangzhou.aliyuncs.com/<docId>/pages/<pageId>.json?...';
  const text = await fetch(url).then(r => r.text());
  return text.slice(0, 500);
})()
JS

# 6.5) (可选) 注入 fetch hook，抓 doc_chat 的请求体
Ran agent-browser --session qwen-cdp eval --stdin <<'JS'
(() => {
  if (window.__FETCH_HOOKED__) return;
  window.__FETCH_HOOKED__ = true;
  window.__FETCH_CALLS__ = [];
  const origFetch = window.fetch.bind(window);
  window.fetch = async (...args) => {
    try {
      const [input, init] = args;
      const url = typeof input === "string" ? input : input?.url;
      const method = init?.method || input?.method || "GET";
      const body = typeof init?.body === "string" ? init.body.slice(0, 2000) : init?.body;
      window.__FETCH_CALLS__.push({ t: Date.now(), url, method, body });
    } catch {}
    return origFetch(...args);
  };
})();
JS

# 7) 触发 doc_chat，然后在页面里读取 SSE stop event，提取 references/highlight
Ran agent-browser --session qwen-cdp eval --stdin <<'JS'
// 这里省略了完整 JS：核心是 fetch('.../doc_chat') 后 reader.read() 读 SSE，
// 找到 finish_reason === 'stop' 的那条 data 事件，解析 data.references/data.highlight。
JS