Compétences vaex
📊

vaex

Sûr ⚙️ Commandes externes📁 Accès au système de fichiers🌐 Accès réseau

تحليل مجموعات البيانات الضخمة باستخدام Vaex

Également disponible depuis: davila7

يتطلب معالجة مجموعات البيانات الجدولية الكبيرة التي تتجاوز ذاكرة الوصول العشوائي أدوات متخصصة. يتيح Vaex عمليات DataFrame خارج النوى، والتقييم الكسول، ومعالجة مليارات الصفوف في الثانية على مجموعات البيانات الكبيرة جداً بالنسبة للذاكرة. مثالي للبيانات الفلكية، وسلسلة البيانات المالية، والتحليل العلمي واسع النطاق.

Prend en charge: Claude Codex Code(CC)
🥉 72 Bronze
1

Télécharger le ZIP du skill

2

Importer dans Claude

Allez dans Paramètres → Capacités → Skills → Importer un skill

3

Activez et commencez à utiliser

Tester

Utilisation de "vaex". Load my parquet file and show statistics

Résultat attendu:

  • DataFrame shape: (10,000,000, 15) rows x columns
  • Column types: int64 (5), float64 (7), string (3)
  • Memory usage: 0.5 GB (virtual columns)
  • Mean age: 34.2 | Std income: 45200.5

Utilisation de "vaex". Filter and group data

Résultat attendu:

  • Filtered to 2.3 million rows (age > 25)
  • Group by category results:
  • - Electronics: 450K rows, mean $52,000
  • - Clothing: 890K rows, mean $31,000
  • - Home: 960K rows, mean $42,000

Utilisation de "vaex". Convert CSV to HDF5 for performance

Résultat attendu:

  • Original CSV: 15 GB, 45 minutes to load
  • Converted HDF5: 8 GB, instant loading
  • Memory-mapped access - zero RAM for exploration

Audit de sécurité

Sûr
v4 • 1/17/2026

This is a pure documentation skill for the Vaex Python library. All 498 static findings are false positives caused by markdown code block formatting. The scanner misinterpreted backticks in code examples as Ruby/shell commands, flagged memory-mapping as filesystem access, and misidentified DataFrame inspection methods as reconnaissance. No executable code, credential handling, or malicious patterns exist.

8
Fichiers analysés
6,268
Lignes analysées
3
résultats
4
Total des audits

Facteurs de risque

⚙️ Commandes externes (7)
SKILL.md:32-178 references/core_dataframes.md:15-156 references/data_processing.md:11-554 references/io_operations.md:19-702 references/machine_learning.md:7-727 references/performance.md:11-570 references/visualization.md:20-612
📁 Accès au système de fichiers (3)
references/io_operations.md:10-13 references/io_operations.md:22-48 references/performance.md:259-262
🌐 Accès réseau (2)
references/io_operations.md:474 skill-report.json:6
Audité par: claude Voir l’historique des audits →

Score de qualité

45
Architecture
100
Maintenabilité
87
Contenu
22
Communauté
100
Sécurité
91
Conformité aux spécifications

Ce que vous pouvez construire

استكشاف مجموعات البيانات بمليارات الصفوف

تحليل مجموعات البيانات الضخمة CSV/HDF5 بشكل تفاعلي دون قيود الذاكرة أو المعالجة المسبقة.

معالجة البيانات الفلكية

العمل مع مجموعات البيانات العلمية بتيرابايت باستخدام الحساب خارج النوى والتقييم الكسول.

بناء خطوط أنابيب قابلة للتوسع

إنشاء هندسة المعالم وخطوط عمل التعلم الآلي التي تتعامل مع مجموعات البيانات التي تتجاوز ذاكرة الوصول العشوائي المتاحة.

Essayez ces prompts

تحميل مجموعة بيانات كبيرة 
Use Vaex to open my HDF5 file at data/large_dataset.hdf5 and show its structure, column types, and row count.
تصفية وتجميع 
Filter the dataset for records where age > 25 and calculate the mean and standard deviation of income grouped by category.
إنشاء تصور 
Create a heatmap showing the relationship between x and y coordinates with 100 bins on each axis.
بناء خط أنابيب التعلم الآلي 
Use Vaex ML to create a StandardScaler for features age and income, then apply PCA for dimensionality reduction.

Bonnes pratiques

  • استخدم صيغ HDF5 أو Apache Arrow للتحميل الفوري المعتمد على الذاكرة بدلاً من CSV
  • استفد من الأعمدة الافتراضية والتعبيرات للحسابات دون تجسيد البيانات
  • استخدم العمليات الدفعية مع delay=True عند تنفيذ عدة تجميعات لكفاءة أفضل

Éviter

  • تجنب تحميل مجموعات البيانات بالكامل في ذاكرة الوصول العشوائي - استخدم vaex.open() للوصول المعتمد على الذاكرة
  • لا تحول مجموعات البيانات الكبيرة إلى pandas - استخدم عمليات Vaex طوال خط الأنابيب
  • تجنب التصديرات الصغيرة المتعددة - اجمع الكتابات واستخدم صيغاً فعالة مثل HDF5

Foire aux questions

ما الذي يجعل Vaex مختلفاً عن pandas؟
يستخدم Vaex التقييم الكسول والتخطيط على الذاكرة لمعالجة مجموعات البيانات أكبر من ذاكرة الوصول العشوائي دون تحميل كل شيء في الذاكرة.
ما صيغ الملفات التي يدعمها Vaex؟
يدعم Vaex صيغ HDF5 و Apache Arrow و Parquet و CSV و FITS مع التحميل المعتمد على الذاكرة للوصول الفعال.
هل يمكن لـ Vaex معالجة مجموعات البيانات بمليارات الصفوف؟
نعم، يمكن لـ Vaex معالجة أكثر من مليار صف في الثانية باستخدام العمليات المحسنة بـ C++ والحساب خارج النوى.
هل يدعم Vaex التعلم الآلي؟
يوفر Vaex ML محولات ومشفرات و PCA و K-means والتكامل مع scikit-learn و XGBoost و LightGBM.
كيف يعمل التقييم الكسول؟
لا يتم تنفيذ العمليات حتى تكون النتائج مطلوبة، مما يتيح التجميع الفعال واستخدام الذاكرة الأدنى.
هل يمكن لـ Vaex الوصول إلى التخزين السحابي؟
يمكن لـ Vaex القراءة من S3 و GCS والتخزين السحابي الآخر باستخدام بروتوكولات مثل s3:// و gs://.

Détails du développeur

Auteur

K-Dense-AI

Licence

MIT license

Dépôt

https://github.com/K-Dense-AI/claude-scientific-skills/tree/main/scientific-skills/vaex

Réf

main

Structure de fichiers

📁 references/

📄 core_dataframes.md

📄 data_processing.md

📄 io_operations.md

📄 machine_learning.md

📄 performance.md

📄 visualization.md

📄 SKILL.md