Habilidades web-scrape
🕸️

web-scrape

Seguro

从任意网页提取干净内容

Também disponível em: 21pounder

手动进行网页抓取既耗时又容易出错。此技能使用智能内容提取功能，可在几秒钟内从任意URL提取干净的结构化内容。它能处理动态页面，自动去除广告、导航等干扰内容，并以markdown、JSON或纯文本格式输出。

Suporta: Claude Codex Code(CC)
📊 70 Adequado
1

Baixar o ZIP da skill

2

Upload no Claude

Vá em Configurações → Capacidades → Skills → Upload skill

3

Ative e comece a usar

Testar

A utilizar "web-scrape". Scrape https://example.com/blog/post-title as markdown

Resultado esperado:

  • # 如何构建REST API
  • **来源：** https://example.com/blog/post-title
  • **日期：** 2025年1月10日
  • **作者：** Jane Developer
  • ---
  • REST API是现代Web应用程序的支柱……
  • ## 入门指南
  • 首先，安装您喜欢的HTTP客户端……

Auditoria de Segurança

Seguro
v3 • 1/10/2026

This skill is a prompt-based wrapper that uses MCP Playwright tools for browser automation. The supporting Node.js script (html_clean.js) performs safe HTML-to-markdown conversion using standard libraries (cheerio, turndown) with stdin/stdout I/O only. No network calls, file writes, command execution, or sensitive data access. Security guidelines explicitly prohibit dangerous behaviors like executing page JavaScript or handling authentication.

2
Arquivos analisados
306
Linhas analisadas
0
achados
3
Total de auditorias
Nenhum problema de segurança encontrado
Auditado por: claude Ver Histórico de Auditoria →

Pontuação de qualidade

45
Arquitetura
100
Manutenibilidade
83
Conteúdo
26
Comunidade
100
Segurança
78
Conformidade com especificações

O Que Você Pode Construir

研究数据收集

从多个来源提取文章内容、文档和研究论文，整理成结构化笔记

API文档捕获

保存API文档和技术内容以供离线参考或集成工作使用

内容聚合

从多个网络来源收集和策划内容进行分析或获取灵感

Tente Estes Prompts

基本页面抓取 
Scrape https://example.com/article and return the content as markdown
产品数据提取 
Extract product information from https://shop.example.com/product as JSON with title, price, and description
多页文档 
Scrape the documentation at https://docs.example.com/getting-started. Check if there are multiple pages and ask if you should continue
视觉捕获 
Navigate to https://example.com and take a full-page screenshot saved as example_page.png

Melhores Práticas

  • 从最简单的抓取命令开始，仅在需要时添加--scroll或--screenshot等选项
  • 检查提取内容的准确性，尤其是包含动态元素的复杂页面
  • 抓取内容时请遵守网站的服务条款和robots.txt

Evitar

  • 不要使用此技能在未经授权的情况下抓取受登录保护或仅限订阅的内容
  • 不要尝试绕过CAPTCHA或访问限制——这会失败并浪费资源
  • 不要在没有适当速率限制的情况下抓取高频或实时数据

Perguntas Frequentes

此技能与哪些平台兼容？
配置Playwright MCP后，适用于Claude、Codex和Claude Code。
速率限制是多少？
限制取决于您的Playwright MCP服务器配置和目标网站策略。
我可以与其他工具集成吗？
可以，使用JSON输出格式获取可集成到工作流程中的结构化数据。
我的抓取活动会被跟踪吗？
活动保留在本地——只有您的Playwright实例和目标服务器能看到请求。
为什么我的抓取失败了？
常见原因包括超时、403/404错误、CAPTCHA或需要滚动选项的JavaScript密集型页面。
这与curl或wget有何不同？
此技能可以渲染JavaScript、处理动态内容、自动提取干净文本并提供结构化输出。

Detalhes do Desenvolvedor

Autor

21pounder

Licença

MIT

Repositório

https://github.com/21pounder/terminalAgent/tree/main/deepresearch/.claude/skills/web-scrape

Referência

main

Estrutura de arquivos

📁 scripts/

📄 html_clean.js

📄 SKILL.md