研究
研究草稿4 分钟阅读

Electron 内置浏览器给 agent 读页面内容的接入与提取

草稿。 结论尚未定型,可能需要且可能有多种方案并存;实践验证后再晋升为经验,请勿直接当作可复用的结论。

Electron 里给 agent 读页面是两层问题:先把页面暴露成可读目标,再选通道读。

  • 接入最省事的是 --remote-debugging-port + 外部 CDP 客户端;不想开端口用 webContents.debugger,自家 webview 用 preload 回传。
  • 提取先用 AX 树(穿透 Shadow DOM),列表数据走站点自曝 JSON,视频走字幕轨。
  • 富站点的瓶颈是登录态与反爬,带用户会话的内嵌浏览器正好绕开机房 IP 那套限制。

问题

  • 形态决定可见性:<webview> 与 WebContentsView(替代已废弃的 BrowserView)是独立 target,能单独 snapshot;iframe 只是页面里的 frame;主窗口页面就是普通 page。
  • 富站点四类内容要分开处理:时间线与列表(虚拟滚动)、详情页、视频与音频、图片与 canvas。

候选

接入方式:

接入做法适用代价
外部 CDP启动加 --remote-debugging-port=9222,agent-browser connect 9222 或 connectOverCDP非自家 App、外包 agent端口暴露;App 已在跑要先退出
进程内 debuggerwebContents.debugger.attach("1.3") + sendCommand自家 App、不开端口写主进程代码;DevTools 打开会 detach
preload + IPC<webview preload> 注入,sendToHost 回传摘要自家 webview每个站点一套提取脚本
Playwright Electron_electron.launch({ executablePath }) 拿 firstWindow()自家 App 的端到端测试进程内启动,要改测试代码
加载扩展session.loadExtension 装 content script需要同上下文受 CSP 与隔离世界限制

提取通道:

通道实现富站点表现
AX 树Accessibility.getFullAXTree、snapshot -i、take_snapshot按钮/链接/文案全覆盖,穿透 Shadow DOM;无画面
站点自曝 JSONytInitialData、__NEXT_DATA__、Reddit .json、X GraphQL 响应数据最全;字段随改版漂移
网络响应CDP Network 域、chrome-devtools-mcp list_network_requests拿接口原始 JSON,绕开 DOM
截图webContents.capturePage()、Page.captureScreenshotcanvas、验证码、画面;token 贵
字幕/转写ytInitialPlayerResponse 的 captionTracks、yt-dlp视频内容的唯一可靠通道

当前判断

  • 默认链路:CDP 接上 webview target → AX 树做交互与文案 → 站点 JSON 拿列表全量 → 视频取字幕。
  • 虚拟滚动(X 时间线、Reddit 列表)里 AX 树只有视口内容,要么滚动增量,要么直接打接口,别指望一次 snapshot 拿全。
  • 站点 JSON 优先于 DOM 解析,字段变了再降级回 AX 树。
  • 图片只有 alt/name,要视觉描述就按元素截一张图。
  • 反爬:内嵌浏览器带用户的 cookie 是核心优势;headless + 机房 IP 访问 Reddit/X 直接 403(CDP 直连读取 Chromium 页面内容)。

下一步

  • 在真 Electron 里跑通 --remote-debugging-port + webview target(本机没有 Electron 二进制,未验证)。
  • 横评 AX 树与 DOMSnapshot.captureSnapshot 的 token 与保真,确定列表页用哪个。

参考