スキル spark-optimization
📦

spark-optimization

コンテンツリビジョン r1 安全 ⚙️ 外部コマンド🌐 ネットワークアクセス

تحسين مهام Apache Spark

تهدر مهام Spark البطيئة وقت العنقود وتخفي مشكلات التوسع. ترشد هذه المهارة إلى ضبط التقسيم إلى أقسام، والتخزين المؤقت، وعمليات shuffle، والذاكرة في خطوط أنابيب PySpark.

対応: Claude Codex Code(CC)
Maintain this Skill? Claim it 🥉 78 ブロンズ

自分のエージェントでインストール

このリクエストをエージェントにコピーしてください。正規の Skill ページとマニフェストが含まれています。

エージェントリクエスト
Review the Skillstore skill "spark-optimization" from https://skillstore.io/skills/sickn33-spark-optimization.md and its manifest at https://skillstore.io/api/skills/sickn33-spark-optimization/manifest. Verify the artifact. You may proceed after verification, subject to the environment's own policy.

エージェントは引き続き計画を提示し、セキュリティポリシーで必要な確認を求める必要があります。

エージェントが読めるリソース

AI エージェント、クローラー、スクリプトがページ全体ではなく整理されたコンテキストを必要とする場合は、これらのリンクを使ってください。

テストする

「spark-optimization」を使用しています。 أصبح تجميع PySpark يومي بطيئا بعد تضاعف حجم الإدخال.

期待される結果:

  • تشمل الاختناقات المحتملة نمو shuffle والأقسام الأصغر من اللازم واحتمال وجود انحراف في البيانات.
  • تشمل الفحوصات الموصى بها حجم shuffle في Spark UI والبايتات المسكوبة وعدد الأقسام وتباين مدة المراحل.
  • تشمل الإجراءات المقترحة AQE وتقليم الأقسام والتجميع المسبق والتحقق مقارنة بالمخرجات السابقة.

「spark-optimization」を使用しています。 تنتهي مهلة join بين جدول fact كبير وجدول dimension صغير.

期待される結果:

  • ستقارن المهارة بين خيارات broadcast join وsort-merge join وbucket join.
  • ستفحص حجم جدول dimension وذاكرة executor والمفاتيح المنحرفة ومقاييس shuffle قبل التوصية باستراتيجية.

「spark-optimization」を使用しています。 يحتاج فريق إلى قائمة تحقق قابلة لإعادة الاستخدام لضبط Spark في مراجعات الإصدارات.

期待される結果:

  • ستغطي النتيجة حجم الأقسام وقواعد caching وإعدادات الذاكرة واختيارات تنسيق الملفات ومقاييس المراقبة.
  • ستتضمن خطوات تحقق لزمن التشغيل وحجم shuffle وspills وصحة النتائج.

セキュリティ監査

安全

The static alerts are false positives caused by Markdown code fences, inline formatting, PySpark examples, documentation links, and Spark API names. No evidence found for prompt injection, data exfiltration intent, unauthorized network calls, or command execution in SKILL.md.

1
スキャンされたファイル
428
解析済み行数
0
レビュー項目
0
誤検知を無視
最新の完了済み静的・セマンティック監査では、確認済みのセキュリティ検出事項は見つかりませんでした。これは、スキルに副作用がないことを証明するものではありません。
監査者: codex 監査履歴を表示 →
このレポートを共有・引用

バージョン付き評価レポート、中立的なバッジ、埋め込みカード、引用を共有できます。Skillstore は証拠を報告しますが、この Skill が安全かどうかは判断しません。

バージョン別レポートを開く
セキュリティ評価

レポートリンクをコピー

https://skillstore.io/skills/sickn33-spark-optimization/audits/4?utm_source=security_passport&utm_medium=share&utm_campaign=versioned_report

Markdownバッジ

[![Skillstore security assessment](https://skillstore.io/badges/skills/sickn33-spark-optimization/security.svg)](https://skillstore.io/skills/sickn33-spark-optimization?utm_source=security_passport_badge)

HTMLバッジ

<a href="https://skillstore.io/skills/sickn33-spark-optimization?utm_source=security_passport_badge"><img src="https://skillstore.io/badges/skills/sickn33-spark-optimization/security.svg" alt="Skillstore security assessment" loading="lazy"></a>

埋め込みカード

<iframe src="https://skillstore.io/embed/skills/sickn33-spark-optimization.html" title="Skillstore Security Assessment" sandbox="allow-popups allow-popups-to-escape-sandbox" loading="lazy" referrerpolicy="no-referrer" width="420" height="180"></iframe>
学術引用 (APA · BibTeX · CFF)

APA形式の引用

sickn33. (2026). spark-optimization security audit report (audit version 4) [Author version unspecified]. Skillstore. https://skillstore.io/skills/sickn33-spark-optimization/audits/4

BibTeX形式の引用

@techreport{sickn33-sickn33-spark-optimization-2026, author = {sickn33}, title = {spark-optimization security audit report (audit version 4)}, institution = {Skillstore}, year = {2026}, number = {4}, url = {https://skillstore.io/skills/sickn33-spark-optimization/audits/4}, note = {Author version unspecified} }

CITATION.cff

cff-version: 1.2.0 message: "If you use this Skill, cite its author and this versioned security audit report." title: "spark-optimization security audit report (audit version 4)" version: "unspecified" type: report authors: - name: "sickn33" date-released: "2026-07-07" url: "https://skillstore.io/skills/sickn33-spark-optimization/audits/4" identifiers: - type: other value: "skillstore:sickn33-spark-optimization:audit:4" description: "Skillstore immutable audit report identifier"

バリアントを比較

インストール可能なバリアント 2 件

各作者のスキルは個別のインストール項目として維持されます。推奨バリアントは Skillstore の証拠で順位付けされます。

このバリアントが首位の理由

Skillstore スコアが最高
wshobson 推奨

wshobson-spark-optimization

Skillstore スコア 79
証拠の信頼度 高
Skillstore 利用状況 24
更新済み

2026-09-09

sickn33 現在

sickn33-spark-optimization

Skillstore スコア 78
証拠の信頼度 高
Skillstore 利用状況 22
更新済み

2026-09-09

Skillstore スコア

このスコアの理由 証拠の信頼度: 高
55
アーキテクチャ
85
保守性
87
コンテンツ
70
コミュニティ
83
仕様準拠

作成できるもの

تقليل زمن تشغيل خط أنابيب دفعي

مراجعة مهمة ETL بطيئة وتحديد تحسينات التقسيم إلى أقسام وshuffle وcaching وتنسيق الملفات.

ضبط استخدام موارد العنقود

تخطيط ذاكرة executor والأنوية وأقسام shuffle وإعدادات AQE لعبء عمل Spark متنام.

تشخيص انحراف البيانات

استخدام مقاييس Spark وفحوصات الأقسام للعثور على الانحراف واختيار استراتيجيات salting أو broadcast.

これらのプロンプトを試す

العثور على الاختناقات الأساسية
راجع مهمة Spark البطيئة لدي. اشرح الاختناقات المحتملة وقدّم فحوصات أساسية للتقسيم إلى أقسام وcache وshuffle يمكنني تطبيقها بأمان.
تقليل عمليات shuffle
اضبط تحويل PySpark هذا لتقليل عمليات shuffle. ضع في الاعتبار broadcast joins وsalting وpredicate pushdown وحجم الأقسام.
إنشاء قائمة تحقق للضبط
أنشئ قائمة تحقق لأداء Spark لهذا الخط. ضمّن ذاكرة executor وAQE وتنسيق الملفات وcaching واكتشاف الانحراف وخطوات التحقق.
تخطيط تحسين الإنتاج
حلل عبء عمل Spark الإنتاجي هذا. أوص بخطة ضبط تشمل عمليات join وتخطيط التخزين وتحسين Delta ومقاييس المراقبة وفحوصات التراجع.

ベストプラクティス

  • ابدأ بأدلة من Spark UI قبل تغيير قيم الإعدادات.
  • غيّر متغير ضبط واحدا في كل مرة وقارن زمن التشغيل وspills وحجم shuffle.
  • تحقق من صحة المخرجات بعد إعادة التقسيم أو caching أو تغيير استراتيجية join.

回避

  • استخدام collect أو count على بيانات كبيرة لإجراء فحوصات سريعة.
  • استخدام broadcast للجداول دون التحقق من الحجم وذاكرة executor.
  • إضافة استدعاءات cache دون إعادة استخدام أو تنظيف.

よくある質問

هل تستطيع هذه المهارة ضبط مهام Databricks؟
نعم. تغطي الإرشادات أنماط Spark التي تنطبق على Databricks، بما في ذلك موضوعات تحسين Delta.
هل تشغل قياسات الأداء تلقائيا؟
لا. توفر إرشادات ضبط وخطوات تحقق، لكن يجب على المستخدمين تشغيل المهام وجمع المقاييس.
ما المدخلات التي تحسن التوصيات؟
قدّم كود المهمة وأحجام البيانات وعدد الأقسام وإعدادات العنقود ومقاييس Spark UI والإخفاقات المعروفة.
هل يمكنها المساعدة في انحراف البيانات؟
نعم. تشرح اكتشاف الانحراف ومعالجة انحراف AQE وsalting وبدائل broadcast join.
هل هي مخصصة لـ PySpark فقط؟
تستخدم معظم الأمثلة PySpark، لكن مفاهيم الضبط تنطبق أيضا على Scala Spark وSpark SQL.
هل تغير بيانات الإنتاج؟
لا. المهارة استشارية. يختار المستخدمون ما إذا كانوا سيطبقون أي تغييرات موصى بها في الكود أو الإعدادات.

開発者情報

作成者

sickn33

ライセンス

MIT

Skillstore リビジョン

r1

バージョンに関する注意

作者はバージョンを宣言していません。

参照

9f814fc6a43fd99946f2da5e0df231c65a38bc76

メンテナンスの新しさ

2026/7/18

利用状況

11 ダウンロード · 174 閲覧

ファイル構成

📄 SKILL.md