august06exe/ai-landing-consultant/web-crawler

Claude Code and agent skill by august06exe/ai-landing-consultant

Trust tier 3

community

Source check pending

Checking that the SKILL.md file is still in the repository.

网页抓取技能——单页抓取与整站爬取的决策与落盘规范。触发：需要把文档站/系列页面抓下来长期引用、离线存档、或为知识库补充原始材料时。

Install

npx vskill@latest install august06exe/ai-landing-consultant/web-crawler

SKILL.md

web-crawler（顾问版爬虫）

决策树

只需要 1-3 个页面的内容？→ 单页抓取：内容读进上下文直接用，不留档（除非是知识库素材）。
需要整个文档站作为长期知识库？→ 整站爬取落盘：只存盘 + manifest，不读进上下文，后续按需 grep/Read。
需要跟踪内容更新？→ 记录抓取日期，重抓后对比；若客户侧有此需求，给客户的 Hermes 装 watchers/rss 类技能（见 02-知识库/01-专题/05-客户端技能推荐清单.md）。

落盘规范

位置：临时调研 → 05-客户/<客户>/调研/<站点名>/；长期知识 → 02-知识库/<主题>/。
每次爬取必须留 manifest：种子 URL、抓取日期、页数、文件清单。
文件名保留来源路径信息（如 docs_user-guide_desktop.md），便于溯源。
大文件（>100KB）禁止整读进上下文：先 grep 定位，再按行号区间读。

规矩

遵守 robots.txt；礼貌延迟 ≥300ms；不爬登录/付费内容。
抓完必须蒸馏：24小时内把高频使用的事实提炼成 KB 专题文档（附 URL/行号指针），原始抓取只作备查——不许让以后的工作依赖翻原始快照。
原始站会改版：凡引用抓取内容的专题文档，头部标注「基于 <URL> 于 <日期> 抓取」，超过3个月的专题文档复核后再引用。

Security

Security scanPassed, 90 of 100Pattern checks on the skill's files.
Model reviewPassed

See the full security report

Quality evaluation

Task evaluationNot runNo evaluation yet. Run one in Skill Studio.

See evaluation results

Source

SKILL.md in the repositoryChecking01-顾问agent/skills/web-crawler/SKILL.md

Popularity

Repository stars: 59
Repository forks: 2
7-day trend score: 20

Stars and forks are for the whole GitHub repository, not this skill alone. Refreshed 28 Oct 2026, 11 days ago.

Works with

Any agent vskill installs to: 56 targets in all. These 39 have a page on this site.

Embed badge

vskill VERIFIED badge

[![vskill VERIFIED](https://verified-skill.com/api/v1/skills/august06exe/ai-landing-consultant/web-crawler/badge)](https://verified-skill.com/skills/august06exe/ai-landing-consultant/web-crawler)

Something wrong with this skill or its page? Tell us.