Build Reliable Web Data Collectors
Collecting reliable data from static pages, dynamic sites, and APIs requires several tools and careful engineering. This skill provides implementation templates for extraction, cleaning, storage, monitoring, and scaling.
Остановитесь и запросите подтверждение перед установкой.
Проверьте план и получите явное согласие пользователя перед изменением файлов.
Скопируйте этот запрос в своего Агента. Он содержит каноническую страницу Skill и манифест.
Review the Skillstore skill "web-scraper" from https://skillstore.io/skills/zl2023github-web-scraper.md and its manifest at https://skillstore.io/api/skills/zl2023github-web-scraper/manifest. Verify the artifact. Stop and obtain explicit user consent before installing or changing files.Ваш Агент по-прежнему должен показать план и запросить все подтверждения, требуемые политикой безопасности.
Используйте эти ссылки, когда AI-агенту, crawler или script нужен чистый контекст вместо полной страницы.
Использование «web-scraper». Extract article titles, publication dates, and links from an approved news archive.
Ожидаемый результат:
A normalized table with title, publication date, source link, validation status, and collection timestamp.
Использование «web-scraper». Design a recurring collector for a permitted dynamic catalog with daily updates.
Ожидаемый результат:
Использование «web-scraper». Assess a proposed Scrapy deployment for several authorized sources.
Ожидаемый результат:
A deployment plan covering workers, Redis scheduling, storage, monitoring, failure recovery, data validation, and source-specific limits.
The command-execution alerts are false positives caused by Markdown code fences, and the credential alerts are ordinary parameters or a localhost Redis example. The skill does perform network requests and writes intercepted responses to disk. High-risk semantic concerns include anti-bot circumvention guidance and capture of potentially sensitive application traffic.
Это реальные локальные возможности, которые могут ожидаться для этого навыка, поэтому они требуют проверки, но не считаются подтверждённым вредоносным поведением.
Делитесь версионным отчетом об оценке, нейтральным значком, встраиваемой карточкой и цитатами. Skillstore публикует доказательства, не решая, безопасен ли этот Skill.
https://skillstore.io/skills/zl2023github-web-scraper/audits/4?utm_source=security_passport&utm_medium=share&utm_campaign=versioned_report[](https://skillstore.io/skills/zl2023github-web-scraper?utm_source=security_passport_badge)<a href="https://skillstore.io/skills/zl2023github-web-scraper?utm_source=security_passport_badge"><img src="https://skillstore.io/badges/skills/zl2023github-web-scraper/security.svg" alt="Skillstore security assessment" loading="lazy"></a><iframe src="https://skillstore.io/embed/skills/zl2023github-web-scraper.html" title="Skillstore Security Assessment" sandbox="allow-popups allow-popups-to-escape-sandbox" loading="lazy" referrerpolicy="no-referrer" width="420" height="180"></iframe>zl2023github. (2026). web-scraper security audit report (audit version 4) [Author version unspecified]. Skillstore. https://skillstore.io/skills/zl2023github-web-scraper/audits/4@techreport{zl2023github-zl2023github-web-scraper-2026,
author = {zl2023github},
title = {web-scraper security audit report (audit version 4)},
institution = {Skillstore},
year = {2026},
number = {4},
url = {https://skillstore.io/skills/zl2023github-web-scraper/audits/4},
note = {Author version unspecified}
}cff-version: 1.2.0
message: "If you use this Skill, cite its author and this versioned security audit report."
title: "web-scraper security audit report (audit version 4)"
version: "unspecified"
type: report
authors:
- name: "zl2023github"
date-released: "2026-07-24"
url: "https://skillstore.io/skills/zl2023github-web-scraper/audits/4"
identifiers:
- type: other
value: "skillstore:zl2023github-web-scraper:audit:4"
description: "Skillstore immutable audit report identifier"
Build a rate-limited collector for permitted public pages, then normalize and validate the extracted records.
Use Playwright to load dynamic product pages, handle scrolling, and extract changing catalog fields.
Design Scrapy workers, Redis scheduling, storage, monitoring, retries, and data quality controls for authorized sources.
Create a polite scraper for [URL] that extracts [fields]. Respect robots.txt, use a one-second delay, and return a table.
Build a Playwright scraper for [URL]. Wait for [selector], handle scrolling or pagination, extract [fields], and include retries and structured logs.
Design a Scrapy pipeline for [domain] with deduplication, incremental updates, validation, and [database] storage. Keep robots.txt enforcement enabled.
Architect an authorized collector for [sources] at [volume]. Include rate limits, queueing, observability, recovery, data lineage, privacy controls, and capacity estimates.
Автор
zl2023githubЛицензия
MIT
Ревизия Skillstore
r2
Примечание о версии
Автор не указал версию.
Репозиторий
https://github.com/zl2023github/software-engineer-skills/tree/main/software-engineering/web-scraperСсылка
88a8e9a07f4c54ab105c1c41b6267c287146b07b
Актуальность поддержки
26.07.2026
Использование
2 загрузок · 1 просмотров
Структура файлов
📄 SKILL.md
Diagnose and Improve Full-Stack Performance
Full-stack teams often lack a repeatable way to measure performance and locate bottlenecks. This skill provides testing workflows, diagnostic commands, optimization guidance, and report structures.
Design Reliable Payment Systems
Payment teams need consistent designs for transactions, channels, reconciliation, security, and failure handling. This skill provides structured guidance, examples, and review checklists.
Build and Optimize Search Systems
Search teams need reliable guidance across indexing, ranking, semantic retrieval, and evaluation. This skill provides practical workflows and examples for building and improving search systems.
Build Reliable Business Intelligence Analysis
Business teams often lack consistent metrics and repeatable analysis workflows. This skill guides SQL, Python, dashboards, experiments, and automated reporting from requirements to delivery.
Evaluate Technology Choices with Clear Tradeoffs
Technology choices often hide tradeoffs across performance, cost, reliability, operations, and team readiness. This skill compares candidates, recommends an option, and defines proof-of-concept checks.
Generate Clear Software Architecture Documents
Architecture decisions often remain scattered across requirements, discussions, and diagrams. This skill organizes them into consistent Markdown documents for implementation and review.
Извлечение веб-данных с помощью Firecrawl
от CK991357
Командам часто нужен веб-контент в чистых форматах без написания собственных скрейперов. Этот навык проводит Claude, Codex и Claude Code по режимам Firecrawl для скрейпинга, поиска, карт сайта, обхода, извлечения данных и проверки статуса.
Улучшение покрытия тестами Playwright
от C0ntr0lledCha0s
Наборы тестов Playwright могут становиться нестабильными, когда конфигурация, локаторы и фикстуры непоследовательны. Этот навык дает практические шаблоны для надежных браузерных тестов, отладки и переиспользуемых page objects.
Создавайте тесты веб-приложений на Playwright
от AutumnsGrove
Ручное тестирование в браузере занимает много времени и часто пропускает регрессии в формах, на разных устройствах и при разных состояниях сети. Этот навык помогает Claude, Codex и Claude Code создавать практичные тесты Playwright для реальных веб-сценариев.
Создание браузерных взаимодействий Firecrawl
от firecrawl
Динамические страницы часто скрывают данные за кликами, формами и сценариями входа. Этот навык помогает командам выбирать и определять объем интеграций Firecrawl /interact.
Повышение надежности тестов Playwright
от 0xBigBoss
Тесты Playwright в рабочих процессах агентов часто становятся нестабильными, медленными и шумными. Этот навык предоставляет краткие паттерны для локаторов, проверок, фикстур, повторного использования аутентификации, сетевых моков и компактных репортеров.
Извлечение чистого веб-контента
от 21pounder
Веб-страницы часто содержат навигацию, рекламу и динамический контент, которые мешают видеть полезную информацию. Этот навык помогает Claude, Codex или Claude Code захватывать страницы и возвращать очищенный контент.