تحسين وظائف Apache Spark
تؤدي وظائف Spark البطيئة إلى إهدار ميزانية العنقود وتأخير أعمال التحليلات. توفر هذه المهارة أنماط ضبط عملية للتقسيمات، وعمليات الانضمام، والذاكرة، والتخزين المؤقت، وسلوك shuffle.
انسخ هذا الطلب إلى Agent لديك. يتضمن صفحة Skill المعتمدة وملف manifest.
Review the Skillstore skill "spark-optimization" from https://skillstore.io/skills/wshobson-spark-optimization.md and its manifest at https://skillstore.io/api/skills/wshobson-spark-optimization/manifest. Verify the artifact. You may proceed after verification, subject to the environment's own policy.يجب أن يواصل Agent عرض خطته وطلب أي تأكيد تفرضه سياسة الأمان.
استخدم هذه الروابط عندما يحتاج AI Agent أو crawler أو script إلى سياق نظيف بدلًا من قراءة الصفحة كاملة.
جارٍ استخدام "spark-optimization". تقضي وظيفة Spark معظم الوقت في عملية انضمام كبيرة ولديها مدد مهام غير متساوية.
النتيجة المتوقعة:
تحدد الاستجابة احتمال وجود skew، وتوصي بفحص أعداد التقسيمات، وتقترح خيارات broadcast أو salting، وتسرد مقاييس التحقق.
جارٍ استخدام "spark-optimization". يقوم خط PySpark بقراءة DataFrame نفسه وتصفيته بشكل متكرر قبل عدة تجميعات.
النتيجة المتوقعة:
توصي الاستجابة بالتخزين المؤقت الانتقائي، وmaterialization، وunpersisting بعد إعادة الاستخدام، وتجنب التخزين المؤقت للتحويلات التي تُستخدم مرة واحدة.
جارٍ استخدام "spark-optimization". يريد فريق إعدادات Spark افتراضية لعبء عمل دفعي متوسط.
النتيجة المتوقعة:
تقترح الاستجابة قيماً ابتدائية لـ AQE وذاكرة المنفذ وتقسيمات shuffle والضغط وحجم تقسيم الملفات.
The static findings are false positives caused by Markdown code fences, Spark example syntax, Spark monitoring APIs, and documentation links. I found no evidence of executable installer code, credential access, command injection, prompt injection, or data exfiltration intent in SKILL.md.
شارك تقرير التقييم المرتبط بالإصدار والشارة المحايدة وبطاقة التضمين والاستشهادات. تعرض Skillstore الأدلة من دون أن تقرر ما إذا كانت هذه المهارة آمنة.
https://skillstore.io/skills/wshobson-spark-optimization/audits/8?utm_source=security_passport&utm_medium=share&utm_campaign=versioned_report[](https://skillstore.io/skills/wshobson-spark-optimization?utm_source=security_passport_badge)<a href="https://skillstore.io/skills/wshobson-spark-optimization?utm_source=security_passport_badge"><img src="https://skillstore.io/badges/skills/wshobson-spark-optimization/security.svg" alt="Skillstore security assessment" loading="lazy"></a><iframe src="https://skillstore.io/embed/skills/wshobson-spark-optimization.html" title="Skillstore Security Assessment" sandbox="allow-popups allow-popups-to-escape-sandbox" loading="lazy" referrerpolicy="no-referrer" width="420" height="180"></iframe>wshobson. (2026). spark-optimization security audit report (audit version 8) [Author version unspecified]. Skillstore. https://skillstore.io/skills/wshobson-spark-optimization/audits/8@techreport{wshobson-wshobson-spark-optimization-2026,
author = {wshobson},
title = {spark-optimization security audit report (audit version 8)},
institution = {Skillstore},
year = {2026},
number = {8},
url = {https://skillstore.io/skills/wshobson-spark-optimization/audits/8},
note = {Author version unspecified}
}cff-version: 1.2.0
message: "If you use this Skill, cite its author and this versioned security audit report."
title: "spark-optimization security audit report (audit version 8)"
version: "unspecified"
type: report
authors:
- name: "wshobson"
date-released: "2026-07-08"
url: "https://skillstore.io/skills/wshobson-spark-optimization/audits/8"
identifiers:
- type: other
value: "skillstore:wshobson-spark-optimization:audit:8"
description: "Skillstore immutable audit report identifier"
تبقى مهارة كل مؤلف عنصراً مستقلاً قابلاً للتثبيت. يُرتب المتغير الموصى به وفق أدلة Skillstore.
سبب تصدر هذا المتغير
wshobson-spark-optimization
2026-09-09
sickn33-spark-optimization
2026-09-09
استخدم المهارة لمراجعة التقسيم، وعمليات shuffle، والانضمام، والتخزين المؤقت، وتنسيقات الملفات لوظيفة Spark دفعية بطيئة.
طبّق ورقة الإعدادات المختصرة لاختيار ذاكرة المنفذ، وتقسيمات shuffle، وحدود broadcast، وإعدادات الضغط.
استخدم أنماط اكتشاف skew وsalting لتشخيص التقسيمات غير المتساوية وتقليل المهام طويلة التشغيل.
استخدم مهارة spark-optimization لمراجعة وظيفة Spark البطيئة لدي. ركّز على مشكلات التقسيم وshuffle والتخزين المؤقت والانضمام الواضحة.
استخدم مهارة spark-optimization لاقتراح إعدادات Spark لوظيفة تعالج حجم بياناتي، وعدد المنفذين، ونمط الانضمام.
استخدم مهارة spark-optimization لتشخيص احتمال وجود data skew في هذا التجميع أو الانضمام. أوصِ بفحوصات وإصلاحات عملية.
استخدم مهارة spark-optimization لإنشاء خطة تحسين مرحلية لخط Spark هذا، بما في ذلك اختبارات الأداء وفحوصات التراجع.
المؤلف
wshobsonالترخيص
MIT
مراجعة Skillstore
r1
تنبيه الإصدار
لم يعلن المؤلف عن إصدار.
المستودع
https://github.com/wshobson/agents/tree/main/plugins/data-engineering/skills/spark-optimizationمرجع
64ca8af0f54a325752f08bd54e52151061ea659a
حداثة الصيانة
٢٢/٧/٢٠٢٦
الاستخدام
13 تنزيلات · 265 مشاهدات
بنية الملفات
📄 SKILL.md
تحسين مطالبات LLM للإنتاج
غالبًا ما تفشل مطالبات LLM لأن التعليمات والأمثلة ومعايير التقييم تكون غير واضحة. توفر هذه المهارة قوالب وسير عمل لتحسين المطالبات في Claude وCodex وClaude Code والأدوات المشابهة.
إدارة التطوير المعتمد على السياق
تفقد المشاريع المدعومة بالذكاء الاصطناعي اتساقها عندما تكون أهداف المنتج، وخيارات الحزمة التقنية، وقواعد سير العمل مبعثرة. ترشد هذه المهارة Claude وCodex وClaude Code عبر عناصر سياق Conductor.
بناء نماذج مالية للشركات الناشئة
تحتاج فرق الشركات الناشئة إلى توقعات واضحة قبل أن تتمكن من تخطيط التوظيف وجمع التمويل واستخدام النقد. تنظم هذه المهارة الإيرادات والتكاليف ومدى كفاية النقد والسيناريوهات في مخرجات عملية للتخطيط المالي.
تصميم لوحات مؤشرات أداء رئيسية تقود القرارات
غالبا ما تبني الفرق لوحات معلومات تعرض الكثير من الأرقام لكنها لا توجه إلى اتخاذ إجراء. تساعد هذه المهارة Claude وCodex وClaude Code على اختيار مؤشرات أداء رئيسية ذات معنى، وتنظيم طرق العرض، وعرض المقاييس بوضوح.
كتابة تقارير ما بعد الحوادث بلا لوم
غالبا ما تصبح مراجعات الحوادث غير متسقة، أو مركزة على اللوم، أو صعبة التنفيذ. تساعد هذه المهارة Claude وCodex وClaude Code على صياغة تقارير منظمة لما بعد الحوادث مع جداول زمنية واضحة، وأسباب جذرية، ومالكين محددين.
بناء قصص بيانات واضحة
غالبا ما تفشل المقاييس الخام في إقناع أصحاب المصلحة أو دعم القرارات. تساعد هذه المهارة Claude وCodex وClaude Code على تحويل التحليل إلى سرديات واضحة ومرئيات وتوصيات.
بناء مسارات بيانات للإنتاج
بواسطة alirezarezvani
تحتاج فرق البيانات في الإنتاج إلى أنماط موثوقة للمسارات، وفحوصات الجودة، والتنسيق. ترشد هذه المهارة إلى ممارسات المعمارية، والهياكل الأولية، وDataOps لمجموعات البيانات الحديثة.
تحسين أداء Parquet في Rust
بواسطة EmilLindfors
يمكن أن تهدر خطوط معالجة Parquet مساحة التخزين والذاكرة عند استخدام الإعدادات الافتراضية. تراجع هذه المهارة عمليات القراءة والكتابة لـ Parquet في Rust، ثم تقترح تحسينات في الضغط، والتحجيم، والإسقاط، والتصفية.
تحسين مسائل متعددة الأهداف باستخدام pymoo
بواسطة davila7
غالبا ما تحتاج مشاريع التحسين إلى اختيار خوارزميات قابل للتكرار، وقيود، وتحليل جبهة باريتو. ترشد هذه المهارة سير عمل pymoo من خلال أمثلة ومراجع وأنماط لاستكشاف الأخطاء وإصلاحها.
تحسين أداء Supabase Postgres
بواسطة supabase
يمكن أن تجعل الاستعلامات البطيئة وانحراف المخطط تطبيقات Postgres صعبة التوسيع. تمنح هذه المهارة وكلاء الذكاء الاصطناعي قواعد مدعومة من Supabase للفهرسة وRLS والتجميع والتشخيصات.
تحسين استعلامات ومخططات Postgres
بواسطة sickn33
من الصعب اكتشاف الاستعلامات البطيئة وأنماط قواعد البيانات غير الآمنة أثناء مراجعة الكود العادية. تمنح هذه المهارة Claude وCodex وClaude Code إرشادات Postgres منظمة حول الفهارس وRLS وتجميع الاتصالات والمعاملات والتشخيصات.
تحسين أداء PostgreSQL
بواسطة sickn33
تحتاج أنظمة PostgreSQL البطيئة إلى تحليل منظم قبل إجراء التغييرات. ترشد هذه المهارة إلى ضبط الاستعلامات، وتخطيط الفهارس، ومراجعة الإعدادات، والصيانة، والمراقبة.