📦
prompt-engineering-patterns
86优化生产环境 LLM 提示词
LLM 提示词经常失败，是因为指令、示例和评估标准不清晰。此技能提供模板和工作流，用于改进 Claude、Codex、Claude Code 以及类似工具中的提示词。
效率 查看
技能 spark-optimization
📦
spark-optimization
内容修订 r1 安全 ⚙️ 外部命令🌐 网络访问
优化 Apache Spark 作业
缓慢的 Spark 作业会浪费集群预算并延迟分析工作。此技能提供针对分区、连接、内存、缓存和 shuffle 行为的实用调优模式。
支持: Claude Codex Code(CC)
使用我的智能体安装
将此请求复制给你的智能体，其中包含权威 Skill 页面和清单。
智能体请求
Review the Skillstore skill "spark-optimization" from https://skillstore.io/skills/wshobson-spark-optimization.md and its manifest at https://skillstore.io/api/skills/wshobson-spark-optimization/manifest. Verify the artifact. You may proceed after verification, subject to the environment's own policy.你的智能体仍应展示其计划，并按安全策略请求必要确认。
Agent 可读资源
当 AI Agent、爬虫或脚本需要干净上下文，而不是读取完整页面时，请使用这些链接。
测试它
正在使用“spark-optimization”。 一个 Spark 作业将大部分时间花在大型连接上，并且任务耗时不均。
预期结果:
响应会识别可能的倾斜，建议检查分区数量，提出 broadcast 或 salting 选项，并列出验证指标。
正在使用“spark-optimization”。 一个 PySpark 流水线在多次聚合之前反复读取并过滤同一个 DataFrame。
预期结果:
响应会建议选择性缓存、物化、重用后 unpersisting，并避免对一次性转换使用 cache。
正在使用“spark-optimization”。 一个团队希望为中等规模批处理工作负载设置默认 Spark 配置。
预期结果:
响应会为 AQE、executor memory、shuffle partitions、compression 和 file partition size 提出起始值。
安全审计
安全v8 • 2026/7/8 打开版本化报告
The static findings are false positives caused by Markdown code fences, Spark example syntax, Spark monitoring APIs, and documentation links. I found no evidence of executable installer code, credential access, command injection, prompt injection, or data exfiltration intent in SKILL.md.
1
已扫描文件
416
分析行数
0
复核项
0
已忽略误报
风险因素
⚙️ 外部命令 (22)
SKILL.md:23-31 SKILL.md:31-45 SKILL.md:45-73 SKILL.md:73-79 SKILL.md:79-104 SKILL.md:104-108 SKILL.md:108-169 SKILL.md:169-173 SKILL.md:173-210 SKILL.md:210-214 SKILL.md:214-245 SKILL.md:245-249 SKILL.md:249-276 SKILL.md:276-280 SKILL.md:280-305 SKILL.md:305-308 SKILL.md:308-312 SKILL.md:312-356 SKILL.md:356-360 SKILL.md:360-393 SKILL.md:393-409 SKILL.md:409
🌐 网络访问 (3)
最新一次完成的静态与语义审计未检测到已确认的安全发现。这并不能证明该 Skill 没有副作用。
审计者: codex 查看审计历史 →
分享与引用此报告
分享版本化评估报告、中性徽章、嵌入卡片和引用。Skillstore 只报告证据，不判断该 Skill 是否安全。
复制报告链接
https://skillstore.io/skills/wshobson-spark-optimization/audits/8?utm_source=security_passport&utm_medium=share&utm_campaign=versioned_reportMarkdown 徽章
[](https://skillstore.io/skills/wshobson-spark-optimization?utm_source=security_passport_badge)HTML 徽章
<a href="https://skillstore.io/skills/wshobson-spark-optimization?utm_source=security_passport_badge"><img src="https://skillstore.io/badges/skills/wshobson-spark-optimization/security.svg" alt="Skillstore security assessment" loading="lazy"></a>嵌入卡片
<iframe src="https://skillstore.io/embed/skills/wshobson-spark-optimization.html" title="Skillstore Security Assessment" sandbox="allow-popups allow-popups-to-escape-sandbox" loading="lazy" referrerpolicy="no-referrer" width="420" height="180"></iframe>学术引用 (APA · BibTeX · CFF)
APA 引用
wshobson. (2026). spark-optimization security audit report (audit version 8) [Author version unspecified]. Skillstore. https://skillstore.io/skills/wshobson-spark-optimization/audits/8BibTeX 引用
@techreport{wshobson-wshobson-spark-optimization-2026,
author = {wshobson},
title = {spark-optimization security audit report (audit version 8)},
institution = {Skillstore},
year = {2026},
number = {8},
url = {https://skillstore.io/skills/wshobson-spark-optimization/audits/8},
note = {Author version unspecified}
}CITATION.cff
cff-version: 1.2.0
message: "If you use this Skill, cite its author and this versioned security audit report."
title: "spark-optimization security audit report (audit version 8)"
version: "unspecified"
type: report
authors:
- name: "wshobson"
date-released: "2026-07-08"
url: "https://skillstore.io/skills/wshobson-spark-optimization/audits/8"
identifiers:
- type: other
value: "skillstore:wshobson-spark-optimization:audit:8"
description: "Skillstore immutable audit report identifier"
比较变体
2 个可安装变体每位作者的技能都保持为独立的可安装项。推荐变体按 Skillstore 证据排序。
为什么此变体排名第一
Skillstore 评分最高
Skillstore 评分
评分依据 证据置信度: 高 55
架构
85
可维护性
87
内容
71
社区
91
规范符合性
你能构建什么
缩短批处理流水线运行时间
使用该技能检查缓慢 Spark 批处理作业中的分区、shuffles、连接、缓存和文件格式。
调优 Databricks 或 EMR 作业
应用配置速查表来选择 executor memory、shuffle partitions、broadcast thresholds 和 compression settings。
调试倾斜的聚合
使用 skew detection 和 salting 模式诊断不均衡分区并减少长时间运行的任务。
试试这些提示
审查缓慢的 Spark 作业
Use the spark-optimization skill to review my slow Spark job. Focus on obvious partitioning, shuffle, caching, and join issues.
建议 Spark 配置
Use the spark-optimization skill to suggest Spark settings for a job that processes my data size, executor count, and join pattern.
诊断数据倾斜
Use the spark-optimization skill to diagnose possible data skew in this aggregation or join. Recommend checks and practical fixes.
设计优化计划
Use the spark-optimization skill to create a staged optimization plan for this Spark pipeline, including benchmarks and rollback checks.
最佳实践
- 从 Spark UI 证据开始，然后优先调优最大的 shuffle、skew、spill 或 scan 瓶颈。
- 使用有代表性的数据一次基准测试一个更改，并记录 runtime、spill、task count 和 output size。
- 在添加 UDFs 或自定义处理逻辑之前，优先使用内置 Spark functions 和 columnar formats。
避免
- 不要将大型数据集 collect 到 driver 用于检查或下游处理。
- 不要在未检查重用情况和内存压力的情况下缓存每个中间 DataFrame。
- 不要在未进行工作负载测试的情况下，将模板 executor settings 视为生产默认值。
常见问题
此技能可以自动优化 Spark 作业吗？
不能。它提供审查指导、调优模式和配置示例，供用户应用到自己的作业中。
它支持 PySpark 和 Spark SQL 吗？
支持。示例涵盖 PySpark DataFrame 操作、Spark SQL 配置和 Delta Lake 优化概念。
它可以诊断 Spark UI 截图或指标吗？
它可以帮助解读提供的指标，但不会连接到 Spark UI 或集群监控系统。
它对 Databricks 作业有用吗？
有用。许多模式适用于 Databricks，包括 AQE、Delta tables、Z-ordering、caching 和 shuffle tuning。
我应该提供哪些信息？
请提供作业代码、数据大小、文件格式、集群大小、运行时症状、Spark UI 观察结果以及最近的配置值。
它是否包含安全敏感行为？
未发现已确认的安全敏感行为。该技能是包含示例和外部文档链接的文档。
开发者详情
作者
wshobson许可证
MIT
Skillstore 修订
r1
版本提示
作者未声明版本。
引用
64ca8af0f54a325752f08bd54e52151061ea659a
维护新鲜度
2026/7/26
使用量
13 次下载 · 265 次浏览
文件结构
📄 SKILL.md
wshobson 的更多技能
查看全部📦
context-driven-development
81管理上下文驱动开发
当产品目标、技术栈选择和工作流规则分散各处时，AI 辅助项目会失去一致性。此技能通过 Conductor 上下文工件指导 Claude、Codex 和 Claude Code。
编码与开发 查看
📦
startup-financial-modeling
80构建初创公司财务模型
初创团队在规划招聘、融资和现金使用之前，需要清晰的预测。此技能将收入、成本、资金可支撑时间和情景分析组织成实用的财务规划输出。
数据与分析 查看
📦
kpi-dashboard-design
79设计推动决策的 KPI 仪表板
团队经常构建展示大量数字却无法指导行动的仪表板。此技能可帮助 Claude、Codex 和 Claude Code 选择有意义的 KPI、组织视图，并清晰呈现指标。
设计与创意 查看
📦
postmortem-writing
79编写无责事故复盘
事故评审常常变得不一致、侧重追责，或难以转化为行动。此技能帮助 Claude、Codex 和 Claude Code 起草结构化复盘，包含清晰的时间线、根本原因和负责人。
写作与内容 查看
📦
data-storytelling
79构建清晰的数据故事
原始指标往往难以说服利益相关者或支持决策。此技能帮助 Claude、Codex 和 Claude Code 将分析塑造成清晰的叙事、视觉呈现和建议。
数据与分析 查看
相关技能
查看全部📦
senior-data-engineer
81构建生产级数据管道
由 alirezarezvani
生产数据团队需要可靠的模式来处理管道、质量检查和编排。此技能为现代数据栈提供架构、脚手架和 DataOps 实践指导。
数据与分析 查看
📦
parquet-optimization
80在 Rust 中优化 Parquet 性能
由 EmilLindfors
使用默认设置时，Parquet 流水线可能会浪费存储和内存。此技能会审查 Rust Parquet 读取和写入，然后建议压缩、大小设置、投影和过滤方面的改进。
数据与分析 查看
📦
pymoo
81使用 pymoo 优化多目标问题
由 davila7
优化项目通常需要可重复的算法选择、约束处理和 Pareto 前沿分析。此技能通过示例、参考资料和故障排查模式指导 pymoo 工作流。
数据与分析 查看
📦
supabase-postgres-best-practices
80优化 Supabase Postgres 性能
由 supabase
慢查询和架构漂移会让 Postgres 应用难以扩展。此技能为 AI 智能体提供基于 Supabase 的索引、RLS、连接池和诊断规则。
数据与分析 查看
📦
postgres-best-practices
80优化 Postgres 查询和架构
由 sickn33
慢查询和不安全的数据库模式在常规代码审查中很难发现。此技能为 Claude、Codex 和 Claude Code 提供有关索引、RLS、连接池、事务和诊断的结构化 Postgres 指导。
数据与分析 查看
📦
postgresql-optimization
80优化 PostgreSQL 性能
由 sickn33
缓慢的 PostgreSQL 系统在变更前需要结构化分析。此技能可指导查询调优、索引规划、配置审查、维护和监控。
数据与分析 查看