Optimizar trabajos de Apache Spark
Los trabajos lentos de Spark desperdician presupuesto del clúster y retrasan el trabajo de análisis. Esta skill ofrece patrones prácticos de ajuste para particiones, joins, memoria, caché y comportamiento de shuffle.
이 요청을 에이전트에 복사하세요. 공식 Skill 페이지와 매니페스트가 포함되어 있습니다.
Review the Skillstore skill "spark-optimization" from https://skillstore.io/skills/wshobson-spark-optimization.md and its manifest at https://skillstore.io/api/skills/wshobson-spark-optimization/manifest. Verify the artifact. You may proceed after verification, subject to the environment's own policy.에이전트는 계속해서 계획을 표시하고 보안 정책에서 요구하는 확인을 요청해야 합니다.
AI 에이전트, 크롤러, 스크립트가 전체 페이지 대신 정리된 컨텍스트만 필요할 때 이 링크를 사용하세요.
"spark-optimization" 사용 중입니다. Un trabajo de Spark pasa la mayor parte del tiempo en un join grande y tiene duraciones de tareas desiguales.
예상 결과:
La respuesta identifica skew probable, recomienda comprobar los conteos de particiones, sugiere opciones de broadcast o salting, y enumera métricas de validación.
"spark-optimization" 사용 중입니다. Un pipeline de PySpark lee y filtra repetidamente el mismo DataFrame antes de varias agregaciones.
예상 결과:
La respuesta recomienda caching selectivo, materialización, unpersisting después de la reutilización y evitar cache en transformaciones de un solo uso.
"spark-optimization" 사용 중입니다. Un equipo quiere ajustes predeterminados de Spark para una carga batch mediana.
예상 결과:
La respuesta propone valores iniciales para AQE, memoria de executor, particiones de shuffle, compresión y tamaño de partición de archivo.
The static findings are false positives caused by Markdown code fences, Spark example syntax, Spark monitoring APIs, and documentation links. I found no evidence of executable installer code, credential access, command injection, prompt injection, or data exfiltration intent in SKILL.md.
버전이 지정된 평가 보고서, 중립 배지, 임베드 카드 및 인용을 공유하세요. Skillstore는 근거를 보고하지만 이 Skill의 안전 여부를 판단하지 않습니다.
https://skillstore.io/skills/wshobson-spark-optimization/audits/8?utm_source=security_passport&utm_medium=share&utm_campaign=versioned_report[](https://skillstore.io/skills/wshobson-spark-optimization?utm_source=security_passport_badge)<a href="https://skillstore.io/skills/wshobson-spark-optimization?utm_source=security_passport_badge"><img src="https://skillstore.io/badges/skills/wshobson-spark-optimization/security.svg" alt="Skillstore security assessment" loading="lazy"></a><iframe src="https://skillstore.io/embed/skills/wshobson-spark-optimization.html" title="Skillstore Security Assessment" sandbox="allow-popups allow-popups-to-escape-sandbox" loading="lazy" referrerpolicy="no-referrer" width="420" height="180"></iframe>wshobson. (2026). spark-optimization security audit report (audit version 8) [Author version unspecified]. Skillstore. https://skillstore.io/skills/wshobson-spark-optimization/audits/8@techreport{wshobson-wshobson-spark-optimization-2026,
author = {wshobson},
title = {spark-optimization security audit report (audit version 8)},
institution = {Skillstore},
year = {2026},
number = {8},
url = {https://skillstore.io/skills/wshobson-spark-optimization/audits/8},
note = {Author version unspecified}
}cff-version: 1.2.0
message: "If you use this Skill, cite its author and this versioned security audit report."
title: "spark-optimization security audit report (audit version 8)"
version: "unspecified"
type: report
authors:
- name: "wshobson"
date-released: "2026-07-08"
url: "https://skillstore.io/skills/wshobson-spark-optimization/audits/8"
identifiers:
- type: other
value: "skillstore:wshobson-spark-optimization:audit:8"
description: "Skillstore immutable audit report identifier"
각 작성자의 스킬은 별도의 설치 항목으로 유지됩니다. 추천 변형은 Skillstore 근거로 순위가 정해집니다.
이 변형이 1위인 이유
Usa la skill para revisar particionado, shuffles, joins, caching y formatos de archivo en un trabajo batch lento de Spark.
Aplica la hoja de referencia de configuración para elegir memoria de executor, particiones de shuffle, umbrales de broadcast y ajustes de compresión.
Usa los patrones de detección de skew y salting para diagnosticar particiones desbalanceadas y reducir tareas de larga duración.
Usa la skill spark-optimization para revisar mi trabajo lento de Spark. Céntrate en problemas evidentes de particionado, shuffle, caching y joins.
Usa la skill spark-optimization para sugerir ajustes de Spark para un trabajo que procesa mi tamaño de datos, cantidad de executors y patrón de join.
Usa la skill spark-optimization para diagnosticar posible skew de datos en esta agregación o join. Recomienda comprobaciones y soluciones prácticas.
Usa la skill spark-optimization para crear un plan de optimización por etapas para este pipeline de Spark, incluidos benchmarks y comprobaciones de rollback.
작성자
wshobson라이선스
MIT
Skillstore 리비전
r1
버전 안내
작성자가 버전을 선언하지 않았습니다.
리포지토리
https://github.com/wshobson/agents/tree/main/plugins/data-engineering/skills/spark-optimization참조
64ca8af0f54a325752f08bd54e52151061ea659a
유지보수 최신성
2026. 7. 21.
사용량
13 다운로드 · 265 조회
파일 구조
📄 SKILL.md
Optimizar Prompts de LLM en Producción
Los prompts de LLM suelen fallar porque las instrucciones, los ejemplos y los criterios de evaluación no están claros. Esta skill proporciona plantillas y flujos de trabajo para mejorar prompts en Claude, Codex, Claude Code y herramientas similares.
Gestionar el desarrollo guiado por contexto
Los proyectos asistidos por IA pierden consistencia cuando los objetivos del producto, las decisiones sobre la pila tecnológica y las reglas de flujo de trabajo están dispersos. Esta skill guía a Claude, Codex y Claude Code mediante artefactos de contexto de Conductor.
Crear modelos financieros para startups
Los equipos de startups necesitan proyecciones claras antes de poder planificar contrataciones, recaudación de fondos y uso de efectivo. Esta skill estructura ingresos, costos, runway y escenarios en resultados prácticos de planificación financiera.
Diseña dashboards de KPI que impulsen decisiones
Los equipos suelen crear dashboards que muestran muchos números, pero no guían la acción. Esta skill ayuda a Claude, Codex y Claude Code a seleccionar KPI significativos, estructurar vistas y presentar métricas con claridad.
Redactar postmortems de incidentes sin culpabilizar
Las revisiones de incidentes a menudo se vuelven inconsistentes, centradas en la culpa o difíciles de convertir en acciones. Esta skill ayuda a Claude, Codex y Claude Code a redactar postmortems estructurados con cronologías claras, causas raíz y responsables.
Construye historias de datos claras
Las métricas sin procesar a menudo no logran persuadir a las partes interesadas ni respaldar decisiones. Esta skill ayuda a Claude, Codex y Claude Code a convertir el análisis en narrativas, visualizaciones y recomendaciones claras.
Crear pipelines de datos de producción
작성자 alirezarezvani
Los equipos de datos de producción necesitan patrones fiables para pipelines, controles de calidad y orquestación. Esta skill orienta sobre arquitectura, scaffolding y prácticas de DataOps para stacks de datos modernos.
Optimizar el rendimiento de Parquet en Rust
작성자 EmilLindfors
Las canalizaciones de Parquet pueden desperdiciar almacenamiento y memoria cuando se usan valores predeterminados. Esta habilidad revisa lecturas y escrituras de Parquet en Rust y luego sugiere mejoras de compresión, dimensionamiento, proyección y filtrado.
Optimiza problemas multiobjetivo con pymoo
작성자 davila7
Los proyectos de optimización suelen necesitar selección repetible de algoritmos, restricciones y análisis del frente de Pareto. Esta skill guía flujos de trabajo con pymoo mediante ejemplos, referencias y patrones de resolución de problemas.
Optimizar el rendimiento de Supabase Postgres
작성자 supabase
Las consultas lentas y la deriva del esquema pueden dificultar el escalado de las aplicaciones Postgres. Esta skill ofrece a los agentes de IA reglas basadas en Supabase para índices, RLS, pooling y diagnósticos.
Optimizar consultas y esquemas de Postgres
작성자 sickn33
Las consultas lentas y los patrones de base de datos inseguros son difíciles de detectar durante una revisión de código ordinaria. Esta skill ofrece a Claude, Codex y Claude Code orientación estructurada de Postgres para índices, RLS, pooling, transacciones y diagnósticos.
Optimizar el rendimiento de PostgreSQL
작성자 sickn33
Los sistemas PostgreSQL lentos necesitan un análisis estructurado antes de realizar cambios. Esta habilidad guía el ajuste de consultas, la planificación de índices, la revisión de configuración, el mantenimiento y la monitorización.