spark-optimization
تحسين مهام Apache Spark
تهدر مهام Spark البطيئة وقت العنقود وتخفي مشكلات التوسع. ترشد هذه المهارة إلى ضبط التقسيم إلى أقسام، والتخزين المؤقت، وعمليات shuffle، والذاكرة في خطوط أنابيب PySpark.
自分のエージェントでインストール
このリクエストをエージェントにコピーしてください。正規の Skill ページとマニフェストが含まれています。
Review the Skillstore skill "spark-optimization" from https://skillstore.io/skills/sickn33-spark-optimization.md and its manifest at https://skillstore.io/api/skills/sickn33-spark-optimization/manifest. Verify the artifact. You may proceed after verification, subject to the environment's own policy.エージェントは引き続き計画を提示し、セキュリティポリシーで必要な確認を求める必要があります。
エージェントが読めるリソース
AI エージェント、クローラー、スクリプトがページ全体ではなく整理されたコンテキストを必要とする場合は、これらのリンクを使ってください。
テストする
「spark-optimization」を使用しています。 أصبح تجميع PySpark يومي بطيئا بعد تضاعف حجم الإدخال.
期待される結果:
- تشمل الاختناقات المحتملة نمو shuffle والأقسام الأصغر من اللازم واحتمال وجود انحراف في البيانات.
- تشمل الفحوصات الموصى بها حجم shuffle في Spark UI والبايتات المسكوبة وعدد الأقسام وتباين مدة المراحل.
- تشمل الإجراءات المقترحة AQE وتقليم الأقسام والتجميع المسبق والتحقق مقارنة بالمخرجات السابقة.
「spark-optimization」を使用しています。 تنتهي مهلة join بين جدول fact كبير وجدول dimension صغير.
期待される結果:
- ستقارن المهارة بين خيارات broadcast join وsort-merge join وbucket join.
- ستفحص حجم جدول dimension وذاكرة executor والمفاتيح المنحرفة ومقاييس shuffle قبل التوصية باستراتيجية.
「spark-optimization」を使用しています。 يحتاج فريق إلى قائمة تحقق قابلة لإعادة الاستخدام لضبط Spark في مراجعات الإصدارات.
期待される結果:
- ستغطي النتيجة حجم الأقسام وقواعد caching وإعدادات الذاكرة واختيارات تنسيق الملفات ومقاييس المراقبة.
- ستتضمن خطوات تحقق لزمن التشغيل وحجم shuffle وspills وصحة النتائج.
セキュリティ監査
安全The static alerts are false positives caused by Markdown code fences, inline formatting, PySpark examples, documentation links, and Spark API names. No evidence found for prompt injection, data exfiltration intent, unauthorized network calls, or command execution in SKILL.md.
リスク要因
⚙️ 外部コマンド (23)
🌐 ネットワークアクセス (3)
このレポートを共有・引用
バージョン付き評価レポート、中立的なバッジ、埋め込みカード、引用を共有できます。Skillstore は証拠を報告しますが、この Skill が安全かどうかは判断しません。
レポートリンクをコピー
https://skillstore.io/skills/sickn33-spark-optimization/audits/4?utm_source=security_passport&utm_medium=share&utm_campaign=versioned_reportMarkdownバッジ
[](https://skillstore.io/skills/sickn33-spark-optimization?utm_source=security_passport_badge)HTMLバッジ
<a href="https://skillstore.io/skills/sickn33-spark-optimization?utm_source=security_passport_badge"><img src="https://skillstore.io/badges/skills/sickn33-spark-optimization/security.svg" alt="Skillstore security assessment" loading="lazy"></a>埋め込みカード
<iframe src="https://skillstore.io/embed/skills/sickn33-spark-optimization.html" title="Skillstore Security Assessment" sandbox="allow-popups allow-popups-to-escape-sandbox" loading="lazy" referrerpolicy="no-referrer" width="420" height="180"></iframe>学術引用 (APA · BibTeX · CFF)
APA形式の引用
sickn33. (2026). spark-optimization security audit report (audit version 4) [Author version unspecified]. Skillstore. https://skillstore.io/skills/sickn33-spark-optimization/audits/4BibTeX形式の引用
@techreport{sickn33-sickn33-spark-optimization-2026,
author = {sickn33},
title = {spark-optimization security audit report (audit version 4)},
institution = {Skillstore},
year = {2026},
number = {4},
url = {https://skillstore.io/skills/sickn33-spark-optimization/audits/4},
note = {Author version unspecified}
}CITATION.cff
cff-version: 1.2.0
message: "If you use this Skill, cite its author and this versioned security audit report."
title: "spark-optimization security audit report (audit version 4)"
version: "unspecified"
type: report
authors:
- name: "sickn33"
date-released: "2026-07-07"
url: "https://skillstore.io/skills/sickn33-spark-optimization/audits/4"
identifiers:
- type: other
value: "skillstore:sickn33-spark-optimization:audit:4"
description: "Skillstore immutable audit report identifier"
バリアントを比較
インストール可能なバリアント 2 件各作者のスキルは個別のインストール項目として維持されます。推奨バリアントは Skillstore の証拠で順位付けされます。
このバリアントが首位の理由
Skillstore スコア
このスコアの理由 証拠の信頼度: 高作成できるもの
تقليل زمن تشغيل خط أنابيب دفعي
مراجعة مهمة ETL بطيئة وتحديد تحسينات التقسيم إلى أقسام وshuffle وcaching وتنسيق الملفات.
ضبط استخدام موارد العنقود
تخطيط ذاكرة executor والأنوية وأقسام shuffle وإعدادات AQE لعبء عمل Spark متنام.
تشخيص انحراف البيانات
استخدام مقاييس Spark وفحوصات الأقسام للعثور على الانحراف واختيار استراتيجيات salting أو broadcast.
これらのプロンプトを試す
راجع مهمة Spark البطيئة لدي. اشرح الاختناقات المحتملة وقدّم فحوصات أساسية للتقسيم إلى أقسام وcache وshuffle يمكنني تطبيقها بأمان.
اضبط تحويل PySpark هذا لتقليل عمليات shuffle. ضع في الاعتبار broadcast joins وsalting وpredicate pushdown وحجم الأقسام.
أنشئ قائمة تحقق لأداء Spark لهذا الخط. ضمّن ذاكرة executor وAQE وتنسيق الملفات وcaching واكتشاف الانحراف وخطوات التحقق.
حلل عبء عمل Spark الإنتاجي هذا. أوص بخطة ضبط تشمل عمليات join وتخطيط التخزين وتحسين Delta ومقاييس المراقبة وفحوصات التراجع.
ベストプラクティス
- ابدأ بأدلة من Spark UI قبل تغيير قيم الإعدادات.
- غيّر متغير ضبط واحدا في كل مرة وقارن زمن التشغيل وspills وحجم shuffle.
- تحقق من صحة المخرجات بعد إعادة التقسيم أو caching أو تغيير استراتيجية join.
回避
- استخدام collect أو count على بيانات كبيرة لإجراء فحوصات سريعة.
- استخدام broadcast للجداول دون التحقق من الحجم وذاكرة executor.
- إضافة استدعاءات cache دون إعادة استخدام أو تنظيف.