المهارات vaex
📊

vaex

آمن ⚙️ الأوامر الخارجية📁 الوصول إلى نظام الملفات🌐 الوصول إلى الشبكة

تحليل مجموعات البيانات الضخمة باستخدام Vaex

متاح أيضًا من: davila7

يتطلب معالجة مجموعات البيانات الجدولية الكبيرة التي تتجاوز ذاكرة الوصول العشوائي أدوات متخصصة. يتيح Vaex عمليات DataFrame خارج النوى، والتقييم الكسول، ومعالجة مليارات الصفوف في الثانية على مجموعات البيانات الكبيرة جداً بالنسبة للذاكرة. مثالي للبيانات الفلكية، وسلسلة البيانات المالية، والتحليل العلمي واسع النطاق.

يدعم: Claude Codex Code(CC)
📊 71 كافٍ
1

تنزيل ZIP المهارة

2

رفع في Claude

اذهب إلى Settings → Capabilities → Skills → Upload skill

3

فعّل وابدأ الاستخدام

اختبرها

استخدام "vaex". Load my parquet file and show statistics

النتيجة المتوقعة:

  • DataFrame shape: (10,000,000, 15) rows x columns
  • Column types: int64 (5), float64 (7), string (3)
  • Memory usage: 0.5 GB (virtual columns)
  • Mean age: 34.2 | Std income: 45200.5

استخدام "vaex". Filter and group data

النتيجة المتوقعة:

  • Filtered to 2.3 million rows (age > 25)
  • Group by category results:
  • - Electronics: 450K rows, mean $52,000
  • - Clothing: 890K rows, mean $31,000
  • - Home: 960K rows, mean $42,000

استخدام "vaex". Convert CSV to HDF5 for performance

النتيجة المتوقعة:

  • Original CSV: 15 GB, 45 minutes to load
  • Converted HDF5: 8 GB, instant loading
  • Memory-mapped access - zero RAM for exploration

التدقيق الأمني

آمن
v4 • 1/17/2026

This is a pure documentation skill for the Vaex Python library. All 498 static findings are false positives caused by markdown code block formatting. The scanner misinterpreted backticks in code examples as Ruby/shell commands, flagged memory-mapping as filesystem access, and misidentified DataFrame inspection methods as reconnaissance. No executable code, credential handling, or malicious patterns exist.

8
الملفات التي تم فحصها
6,268
الأسطر التي تم تحليلها
3
النتائج
4
إجمالي عمليات التدقيق

عوامل الخطر

⚙️ الأوامر الخارجية (7)
SKILL.md:32-178 references/core_dataframes.md:15-156 references/data_processing.md:11-554 references/io_operations.md:19-702 references/machine_learning.md:7-727 references/performance.md:11-570 references/visualization.md:20-612
📁 الوصول إلى نظام الملفات (3)
references/io_operations.md:10-13 references/io_operations.md:22-48 references/performance.md:259-262
🌐 الوصول إلى الشبكة (2)
references/io_operations.md:474 skill-report.json:6
تم تدقيقه بواسطة: claude عرض سجل التدقيق →

درجة الجودة

45
الهندسة المعمارية
100
قابلية الصيانة
87
المحتوى
21
المجتمع
100
الأمان
91
الامتثال للمواصفات

ماذا يمكنك بناءه

استكشاف مجموعات البيانات بمليارات الصفوف

تحليل مجموعات البيانات الضخمة CSV/HDF5 بشكل تفاعلي دون قيود الذاكرة أو المعالجة المسبقة.

معالجة البيانات الفلكية

العمل مع مجموعات البيانات العلمية بتيرابايت باستخدام الحساب خارج النوى والتقييم الكسول.

بناء خطوط أنابيب قابلة للتوسع

إنشاء هندسة المعالم وخطوط عمل التعلم الآلي التي تتعامل مع مجموعات البيانات التي تتجاوز ذاكرة الوصول العشوائي المتاحة.

جرّب هذه الموجهات

تحميل مجموعة بيانات كبيرة 
Use Vaex to open my HDF5 file at data/large_dataset.hdf5 and show its structure, column types, and row count.
تصفية وتجميع 
Filter the dataset for records where age > 25 and calculate the mean and standard deviation of income grouped by category.
إنشاء تصور 
Create a heatmap showing the relationship between x and y coordinates with 100 bins on each axis.
بناء خط أنابيب التعلم الآلي 
Use Vaex ML to create a StandardScaler for features age and income, then apply PCA for dimensionality reduction.

أفضل الممارسات

  • استخدم صيغ HDF5 أو Apache Arrow للتحميل الفوري المعتمد على الذاكرة بدلاً من CSV
  • استفد من الأعمدة الافتراضية والتعبيرات للحسابات دون تجسيد البيانات
  • استخدم العمليات الدفعية مع delay=True عند تنفيذ عدة تجميعات لكفاءة أفضل

تجنب

  • تجنب تحميل مجموعات البيانات بالكامل في ذاكرة الوصول العشوائي - استخدم vaex.open() للوصول المعتمد على الذاكرة
  • لا تحول مجموعات البيانات الكبيرة إلى pandas - استخدم عمليات Vaex طوال خط الأنابيب
  • تجنب التصديرات الصغيرة المتعددة - اجمع الكتابات واستخدم صيغاً فعالة مثل HDF5

الأسئلة المتكررة

ما الذي يجعل Vaex مختلفاً عن pandas؟
يستخدم Vaex التقييم الكسول والتخطيط على الذاكرة لمعالجة مجموعات البيانات أكبر من ذاكرة الوصول العشوائي دون تحميل كل شيء في الذاكرة.
ما صيغ الملفات التي يدعمها Vaex؟
يدعم Vaex صيغ HDF5 و Apache Arrow و Parquet و CSV و FITS مع التحميل المعتمد على الذاكرة للوصول الفعال.
هل يمكن لـ Vaex معالجة مجموعات البيانات بمليارات الصفوف؟
نعم، يمكن لـ Vaex معالجة أكثر من مليار صف في الثانية باستخدام العمليات المحسنة بـ C++ والحساب خارج النوى.
هل يدعم Vaex التعلم الآلي؟
يوفر Vaex ML محولات ومشفرات و PCA و K-means والتكامل مع scikit-learn و XGBoost و LightGBM.
كيف يعمل التقييم الكسول؟
لا يتم تنفيذ العمليات حتى تكون النتائج مطلوبة، مما يتيح التجميع الفعال واستخدام الذاكرة الأدنى.
هل يمكن لـ Vaex الوصول إلى التخزين السحابي؟
يمكن لـ Vaex القراءة من S3 و GCS والتخزين السحابي الآخر باستخدام بروتوكولات مثل s3:// و gs://.

تفاصيل المطور

المؤلف

K-Dense-AI

الترخيص

MIT license

المستودع

https://github.com/K-Dense-AI/claude-scientific-skills/tree/main/scientific-skills/vaex

مرجع

main

بنية الملفات

📁 references/

📄 core_dataframes.md

📄 data_processing.md

📄 io_operations.md

📄 machine_learning.md

📄 performance.md

📄 visualization.md

📄 SKILL.md