laohan-xiazai

从互联网拿内容

按平台选择正确方法，一步到位。先看平台路由表，再读对应 reference 文件。平台方法不行时，按品类降级链逐层深入——每层解决不同问题，能浅不深。

核心理念

能浅不深——先用最轻的方法（HTTP 请求），不行再加重量（浏览器渲染→反检测→AI 操作→手动控制）。成本递增，每层解决不同问题，不要跳层。

不适用场景

• 批量爬取/爬虫开发 → 这不是爬虫框架，是一次性内容获取工具
• 需要登录才能访问且用户未登录 → 告诉用户先登录对应平台，web-access CDP 可以接管已登录的 Chrome
• 下载付费内容/会员内容 → 不处理侵权场景

前置检查（定期更新，命令报错时必做）

opencli 高频发版（每周 2-3 次），但不需要每次使用都更新——定期（如每周）更新，或命令报错/找不到新命令时再更新即可。

第1步：更新 opencli（npm 包）

npm update -g @jackwener/opencli

第2步：更新 opencli skills（npx 管理）

npx skills update -g -y

opencli 自带 4 个辅助 skill，随 opencli 仓库更新但独立于 npm 包。必须单独更新：

• opencli-usage：查命令总览，不确定有什么命令时用
• opencli-autofix：命令失败时自动诊断修复（SELECTOR 错误、页面结构变化等）
• opencli-browser：浏览器自动化操作
• opencli-adapter-author：写新的 opencli 适配器

第3步：查最新命令比对文档

opencli <platform>

opencli 经常加新命令（如 4 月加了 bilibili download、xiaohongshu download），SKILL 文档可能滞后。发现新命令时更新对应 reference 文件。

第4步：检查 Browser Bridge

3 项全绿（Daemon + Extension + Connectivity）才能用 Cookie 命令。失败时排障：

1. opencli doctor 看哪项失败
2. daemon 没跑 → opencli daemon restart（opencli 自带 daemon 管理，不要用 launchctl——opencli 不提供 LaunchAgent）
3. daemon 在跑但扩展未连 → 让用户 chrome://extensions/ 关开 OpenCLI 扩展
4. 都 OK 还连不上 → opencli daemon stop 后再跑任意 opencli <命令> 触发 daemon 自启

命令失败时的处理

1. 先用 opencli-autofix skill 诊断：OPENCLI_DIAGNOSTIC=1 重跑失败命令
2. 修复成功 → 更新 reference 文件记录正确方法
3. 修复失败 → 按降级链切换方法

快速路由

场景 A：下载（视频/音频/字幕/博主数据）

先判断平台，再读对应的 reference 文件：

不确定平台时，默认尝试 yt-dlp <url>，失败再按平台路由。

references/douyin.md 除下载/转录外，还含发布自动化（publish/draft/update）与账号数据分析——发布需求直接读该文件对应章节。

场景 B：搜索/阅读（文章/评论/帖子/搜索结果）

不走 reference 文件，直接走平台封装降级。注意：场景B 的首选方法与第一层降级表（下载场景）不同——搜索/阅读优先用 opencli 搜索命令或 agent-reach，下载才用移动端 UA / fetch.py 等。

agent-reach 触发场景：用户说"读一下这个链接""这个公众号文章"，或给出非视频的社交平台链接。纯技术查证类搜索不进本 skill（让位 laohan-sousuo）。

降级链

第一层：平台路由（Layer 2 平台封装）

每个平台方法失败时，按以下顺序降级，直到成功或全部失败才报错给用户：

降级时注意：

• 抖音不存在 yt-dlp 降级路径（已验证无效），不要浪费时间尝试
• 抖音纯 HTTP 通道 2026-08 起全部关闭（iesdouyin SSR / douyin_tiktok_scraper 均失效），单视频下载走短链解析 + Playwright 抓包（见 references/douyin.md）
• B站 yt-dlp 已被 HTTP 412 全面拦截（2026-04-28 验证），不要尝试 yt-dlp 下载B站视频
• YouTube 无 cookies 会被 bot 检测拦截，必须加 --cookies-from-browser chrome
• 每步失败后简要告诉用户换了个方法，不要静默切换
• 全部失败时，告诉用户具体哪步失败了、可能的原因、建议用户做什么

第二层：品类降级（平台路由全部失败时）

平台方法全部失败后，按能力从轻到重逐层深入。每层解决一个不同的问题：

每层解决的问题不同，不要跳层：

• 普通网页 → Scrapling get（最轻，HTTP 直接请求）
• JS 渲染 → Scrapling fetch（需要浏览器但不需隐身）
• 反爬拦截 → Scrapling stealthy（隐身模式绕过检测）
• 页面看不懂 → browser-use（AI 理解能力）
• 需要登录态 / 多步交互 / 视频采样 → web-access（用户日常 Chrome 的真实登录态 + 确定性 CDP API）
• 精确操作 → Playwright（人工级控制）

成本递增，能浅不深：Scrapling get（HTTP 秒级）< Scrapling fetch（浏览器秒级）< Scrapling stealthy（反检测）< browser-use（需调 LLM API）< web-access（需 CDP 连接）< Playwright（需写代码）

评论采集

详查命令见 references/other-platforms.md。opencli 是评论主力（read 8 平台 / write 3 平台），MediaCrawler 只抓不写且禁商业，不装。

批量评论/批量主页采集属爬虫框架范畴，不在本 skill（见「不适用场景」）；按需取评论走 opencli。

通用兜底

web-access 调用要点（降级链中唯一连用户日常浏览器的工具）

降级链其余工具（Scrapling / browser-use / Playwright MCP）都开独立无状态浏览器，唯独 web-access 直连用户日常 Chrome，天然带登录态、书签、历史。触发 /web-access 加载后按此调用：

1. 启动 CDP proxy：node "${CLAUDE_SKILL_DIR}/scripts/check-deps.mjs"（Node 22+ 必需，脚本自动启动并等待 proxy 就绪）
2. 操作前必须向用户展示封禁须知：部分站点对浏览器自动化检测严格，存在账号封禁风险，已内置防护但无法完全避免，继续操作即视为接受。
3. curl 调 localhost:3456 API：/new（后台 tab，URL 走 POST body 保留完整参数）//eval（读写 DOM，递归穿透 Shadow DOM·iframe）//click·/clickAt（真实鼠标手势，触发文件对话框）//scroll（触发懒加载）//screenshot（含视频当前帧）//setFiles（上传，绕过对话框）//close（关闭自建 tab，保留用户 tab）
4. 本地浏览器检索（web-access 独有）：用户说"我之前看过的""公司内部系统"等公网搜不到的目标 → node "${CLAUDE_SKILL_DIR}/scripts/find-url.mjs" 关键词 [--only bookmarks|history] [--since 7d] 查 Chrome/Edge 书签+历史

何时优先 web-access：需登录态 / 多步 GUI 交互（点击·翻页·表单·上传）/ 视频帧采样 / 本地浏览器检索——这四类其余工具都做不了或不如它。仅当页面结构完全未知、需 AI 自主探索时才用 browser-use；需代码级隔离测试时才用 Playwright MCP。

工具速查

语音转文字

语音合成 / 音视频处理

搜索兜底

注：smart-search/web-search/multi-search-engine/baidu-search 位于 ~/.openclaw/skills/，需 OpenClaw 环境已安装；anysearch 在 ~/.agents/skills/（通用，无 OpenClaw 也可用）。无 OpenClaw 环境时优先 anysearch。

搜索优先级：通用搜索/事实查询/垂直领域 → anysearch（最轻最快）→ opencli（平台结构化数据）→ agent-reach（opencli 未覆盖的平台兜底）。

Scrapling 调用路径

关键注意事项

• 抖音反爬极强，yt-dlp/Jina/纯 HTTP 全部无效（2026-08 升级后 iesdouyin SSR 与 douyin_tiktok_scraper 也失效），单视频下载走短链解析 + Playwright 抓包（见 references/douyin.md）
• TikTok 用 tikwm API，CDN URL 临时，获取后立即下载
• YouTube 字幕首选 opencli youtube transcript（返回干净文本免清洗），备选 yt-dlp 的 VTT 需 clean_vtt.py 清洗（见 references/youtube.md）
• opencli Cookie 命令需要 Browser Bridge 运行（排障：opencli doctor）