Оптимизация заданий Apache Spark
Медленные задания Spark расходуют время кластера и скрывают проблемы масштабирования. Этот навык помогает настраивать партиционирование, кэширование, shuffle и память для пайплайнов PySpark.
Скопируйте этот запрос в своего Агента. Он содержит каноническую страницу Skill и манифест.
Review the Skillstore skill "spark-optimization" from https://skillstore.io/skills/sickn33-spark-optimization.md and its manifest at https://skillstore.io/api/skills/sickn33-spark-optimization/manifest. Verify the artifact. You may proceed after verification, subject to the environment's own policy.Ваш Агент по-прежнему должен показать план и запросить все подтверждения, требуемые политикой безопасности.
Используйте эти ссылки, когда AI-агенту, crawler или script нужен чистый контекст вместо полной страницы.
Использование «spark-optimization». Ежедневная агрегация PySpark стала медленной после удвоения входного объема.
Ожидаемый результат:
Использование «spark-optimization». Join между большой fact table и небольшой dimension table завершается по таймауту.
Ожидаемый результат:
Использование «spark-optimization». Команде нужен переиспользуемый чек-лист настройки Spark для release reviews.
Ожидаемый результат:
The static alerts are false positives caused by Markdown code fences, inline formatting, PySpark examples, documentation links, and Spark API names. No evidence found for prompt injection, data exfiltration intent, unauthorized network calls, or command execution in SKILL.md.
Делитесь версионным отчетом об оценке, нейтральным значком, встраиваемой карточкой и цитатами. Skillstore публикует доказательства, не решая, безопасен ли этот Skill.
https://skillstore.io/skills/sickn33-spark-optimization/audits/4?utm_source=security_passport&utm_medium=share&utm_campaign=versioned_report[](https://skillstore.io/skills/sickn33-spark-optimization?utm_source=security_passport_badge)<a href="https://skillstore.io/skills/sickn33-spark-optimization?utm_source=security_passport_badge"><img src="https://skillstore.io/badges/skills/sickn33-spark-optimization/security.svg" alt="Skillstore security assessment" loading="lazy"></a><iframe src="https://skillstore.io/embed/skills/sickn33-spark-optimization.html" title="Skillstore Security Assessment" sandbox="allow-popups allow-popups-to-escape-sandbox" loading="lazy" referrerpolicy="no-referrer" width="420" height="180"></iframe>sickn33. (2026). spark-optimization security audit report (audit version 4) [Author version unspecified]. Skillstore. https://skillstore.io/skills/sickn33-spark-optimization/audits/4@techreport{sickn33-sickn33-spark-optimization-2026,
author = {sickn33},
title = {spark-optimization security audit report (audit version 4)},
institution = {Skillstore},
year = {2026},
number = {4},
url = {https://skillstore.io/skills/sickn33-spark-optimization/audits/4},
note = {Author version unspecified}
}cff-version: 1.2.0
message: "If you use this Skill, cite its author and this versioned security audit report."
title: "spark-optimization security audit report (audit version 4)"
version: "unspecified"
type: report
authors:
- name: "sickn33"
date-released: "2026-07-07"
url: "https://skillstore.io/skills/sickn33-spark-optimization/audits/4"
identifiers:
- type: other
value: "skillstore:sickn33-spark-optimization:audit:4"
description: "Skillstore immutable audit report identifier"
Навык каждого автора остаётся отдельным устанавливаемым вариантом. Рекомендуемый вариант ранжируется по данным Skillstore.
Почему этот вариант первый
wshobson-spark-optimization
2026-09-09
sickn33-spark-optimization
2026-09-09
Проверить медленное ETL-задание и определить улучшения в партиционировании, shuffle, кэшировании и формате файлов.
Спланировать память executor, cores, shuffle partitions и настройки AQE для растущей рабочей нагрузки Spark.
Использовать метрики Spark и проверки партиций, чтобы найти перекос и выбрать стратегии salting или broadcast.
Проверь мое медленное задание Spark. Объясни вероятные узкие места и дай базовые проверки партиций, кэша и shuffle, которые я могу безопасно применить.
Настрой эту трансформацию PySpark, чтобы уменьшить количество shuffle. Учитывай broadcast joins, salting, predicate pushdown и размер партиций.
Создай чек-лист производительности Spark для этого пайплайна. Включи executor memory, AQE, file format, caching, skew detection и шаги validation.
Проанализируй эту production-нагрузку Spark. Рекомендуй план настройки для joins, storage layout, Delta optimization, monitoring metrics и rollback checks.
Автор
sickn33Лицензия
MIT
Ревизия Skillstore
r1
Примечание о версии
Автор не указал версию.
Репозиторий
https://github.com/sickn33/antigravity-awesome-skills/tree/main/skills/spark-optimizationСсылка
9f814fc6a43fd99946f2da5e0df231c65a38bc76
Актуальность поддержки
22.07.2026
Использование
11 загрузок · 174 просмотров
Структура файлов
📄 SKILL.md
Создание маркетингового контента в едином стиле бренда
Маркетинговым командам нужен контент, который остается согласованным во всех каналах. Этот навык помогает планировать, писать, анализировать и оптимизировать контент с учетом голоса бренда и SEO.
Улучшайте LLM-промпты с помощью проверенных паттернов
Непоследовательные промпты тратят время и снижают доверие к результатам AI. Этот навык помогает проектировать промпты с использованием переиспользуемых паттернов, примеров, этапов оценки и рабочих процессов оптимизации.
Проектируйте масштабируемые архитектуры ПО
Архитектурные решения сложно сравнивать для веб-, мобильных, backend- и облачных систем. Этот навык предоставляет структурированные руководства и локальные скрипты-заготовки для отчетов, анализа зависимостей и документирования компромиссов.
Создавайте fullstack-приложения с senior-паттернами
Командам нужны единые рекомендации по настройке, архитектуре и ревью для современных веб-приложений. Этот skill предоставляет scaffolders, справочные материалы по рабочим процессам и quality prompts для проектов на React, Next.js, Node.js, GraphQL и PostgreSQL.
Оптимизируйте AI-промпты с Prompt Engineer
Писать понятные промпты сложно, когда цели расплывчаты или комплексны. Этот навык превращает черновые запросы в структурированные промпты с использованием проверенных фреймворков для промптинга.
Приоритизируйте продуктовую работу с помощью исследовательских инсайтов
Продуктовым командам нужны более быстрые способы ранжировать функции, обобщать интервью и документировать решения. Этот навык предоставляет RICE-оценку, анализ интервью и шаблоны PRD для структурированного планирования.
Build Reliable Data Pipelines and Warehouses
от zl2023github
Data teams need dependable pipelines across fragmented platforms. This skill designs implementation-ready batch, streaming, modeling, orchestration, and quality workflows.
Создание производственных конвейеров данных
от alirezarezvani
Командам данных в production нужны надежные шаблоны для конвейеров, проверок качества и оркестрации. Этот навык помогает с архитектурой, созданием каркасов и практиками DataOps для современных стеков данных.
Оптимизация производительности Parquet в Rust
от EmilLindfors
Конвейеры Parquet могут неэффективно расходовать хранилище и память при использовании настроек по умолчанию. Этот навык анализирует чтение и запись Parquet в Rust, а затем предлагает улучшения сжатия, размеров, проекции и фильтрации.
Оптимизация запросов DataFusion
от EmilLindfors
Медленные запросы DataFusion могут впустую расходовать вычислительные ресурсы и скрывать простые проблемы в плане выполнения. Этот навык анализирует шаблоны SQL и DataFrame, а затем предлагает конкретные улучшения производительности.
Масштабирование рабочих процессов обработки данных Python с помощью Dask
от davila7
Большие наборы данных Python часто превышают объем памяти или выполняются слишком медленно в одном процессе. Этот навык помогает Claude, Codex и Claude Code проектировать рабочие процессы Dask.
Ускорьте рабочие процессы с Polars DataFrame
от davila7
Командам по работе с данными нужны быстрые рекомендации при создании пайплайнов Polars и миграции с pandas. Этот навык предоставляет краткие паттерны для выражений, ленивых запросов, ввода-вывода, соединений и настройки производительности.