firecrawl-crawl
Vollständige Websites für die Massen-Extraktion von Inhalten crawlen
Die manuelle Extraktion von Inhalten aus hunderten von Seiten ist zeitaufwändig. Diese Fähigkeit automatisiert das Massen-Crawlen von Websites mit Tiefenbegrenzungen und Pfadfilterung, um genau die benötigten Inhalte zu extrahieren.
Descargar el ZIP de la skill
Subir en Claude
Ve a Configuración → Capacidades → Skills → Subir skill
Activa y empieza a usar
Pruébalo
Usando "firecrawl-crawl". Alle Seiten unter /docs/ von example.com crawlen
Resultado esperado:
Erfolgreich 47 Seiten von example.com/docs/ gecrawlt
Beispiel-Seiten extrahiert:
- /docs/getting-started (2.340 Wörter)
- /docs/api-reference (4.120 Wörter)
- /docs/tutorials/basics (1.890 Wörter)
Ergebnisse gespeichert in: .firecrawl/crawl.json
Verwendete Credits: 47
Usando "firecrawl-crawl". Produktseiten von einem E-Commerce-Shop extrahieren
Resultado esperado:
Crawl abgeschlossen: 156 Seiten von example-store.com extrahiert
Gefundene Kategorien:
- /products/electronics (42 Seiten)
- /products/clothing (38 Seiten)
- /products/home (76 Seiten)
Ausgabe geschrieben in: products-crawl.json
Auditoría de seguridad
SeguroSecurity review of firecrawl-crawl skill completed. Static analysis flagged multiple patterns (external_commands, filesystem path traversal, weak_crypto, network_reconnaissance) that were all evaluated as false positives. The flagged content consists of documentation examples in markdown code blocks and relative markdown links to other skill files, not actual security risks. The skill is a legitimate web scraping tool that uses the firecrawl CLI to crawl and extract content from websites.
Problemas de riesgo medio (2)
Factores de riesgo
⚙️ Comandos externos
📁 Acceso al sistema de archivos
Puntuación de calidad
Lo que puedes crear
Dokumentations-Site-Migration
Alle Inhalte einer Dokumentations-Site vor der Migration oder Neugestaltung extrahieren. Verwenden Sie --include-paths /docs, um den Crawl nur auf Dokumentationsbereiche zu beschränken.
Wettbewerbsanalyse-Recherche
Massenhaft Produktseiten, Preisinformationen und Feature-Listen von Wettbewerber-Websites für Marktforschung und Analyse extrahieren.
Wissensdatenbank-Aufbau
Eine lokale Wissensdatenbank durch Crawlen und Extrahieren von Inhalten aus mehreren verwandten Websites, Wikis oder Ressourcensammlungen erstellen.
Prueba estos prompts
Verwenden Sie firecrawl-crawl, um alle Seiten von [URL] zu extrahieren. Speichern Sie die Ergebnisse in crawl-results.json
Crawlen Sie [URL], extrahieren Sie aber nur Seiten unter dem /docs/ Pfad. Begrenzen Sie auf maximal 50 Seiten.
Crawlen Sie [URL] mit einer maximalen Tiefe von 3 Links. Verwenden Sie --include-paths /products /blog, um relevante Bereiche zu filtern.
Crawlen Sie [URL] und extrahieren Sie bis zu 200 Seiten aus dem /resources/ Bereich. Verwenden Sie --delay 500ms für respektvollen Umgang. Speichern Sie die Ausgabe in resources-crawl.json.
Mejores prácticas
- Verwenden Sie immer --include-paths, um Crawls auf relevante Bereiche zu beschränken - crawlen Sie nicht ganze Sites, wenn Sie nur bestimmte Inhalte benötigen
- Verwenden Sie --wait, um sicherzustellen, dass der Crawl vor der Verarbeitung der Ergebnisse abgeschlossen ist - ohne diese Option gibt der Befehl eine Job-ID für asynchrone Abfrage zurück
- Überprüfen Sie die Credit-Nutzung mit 'firecrawl credit-usage' vor dem Start großer Crawls, um unerwartete Kosten zu vermeiden
Evitar
- Crawlen Sie nicht ganze große Websites ohne Pfadfilterung - dies verschwendet Credits und generiert irrelevante Inhalte
- Überspringen Sie --wait nicht bei zeitkritischen Aufgaben - asynchrone Job-IDs erfordern manuelle Abfrage und fügen Komplexität hinzu
- Setzen Sie nicht extrem hohe Parallelität ohne Berücksichtigung von Ratenbegrenzungen - respektieren Sie Ziel-Website-Server