zarr-python
تخزين المصفوفات N-dimensional الكبيرة بكفاءة
Également disponible depuis: davila7
العمل مع مجموعات البيانات الكبيرة التي تتجاوز حدود الذاكرة. يتيح zarr-python تخزين المصفوفات المقسمة مع الضغط لسير عمل حوسبة علمية سحابية أصلية.
Télécharger le ZIP du skill
Importer dans Claude
Allez dans Paramètres → Capacités → Skills → Importer un skill
Activez et commencez à utiliser
Tester
Utilisation de "zarr-python". إنشاء مصفوفة Zarr لتخزين بيانات درجة الحرارة مع 365 خطوة زمنية و 720 خط عرض و 1440 خط طول.
Résultat attendu:
- Created Zarr array at 'temperature.zarr'
- Shape: (365, 720, 1440) | Chunks: (1, 720, 1440) | Dtype: float32
- Compression: Blosc (zstd, level 5) with shuffle filter
- Each chunk contains one complete daily snapshot (~4MB)
- Use z.append() to add new time steps efficiently
Audit de sécurité
SûrAll 227 static findings are FALSE POSITIVES. The analyzer misidentified markdown documentation content as security vulnerabilities. Backticks in markdown are code formatting, not shell execution. Compression codec names (zstd, gzip, lz4) were flagged as cryptographic algorithms but are data compression. URLs are legitimate documentation links. No executable code, shell commands, or cryptographic operations exist in these documentation files.
Facteurs de risque
⚙️ Commandes externes (2)
🌐 Accès réseau (1)
Score de qualité
Ce que vous pouvez construire
تخزين بيانات نموذج المناخ
تخزين بيانات المناخ بتيرابايت مع أبعاد الوقت. تمكين الإضافة الفعالة للخطوات الزمنية الجديدة.
إدارة نقاط التحقق للنموذج
تخزين مصفوفات التضمين الكبيرة وأوزان النموذج. التكامل مع Dask للتدريب الموزع.
معالجة مجموعات البيانات الجينومية
التعامل مع المصفوفات الجينومية متعددة التيرابايت. استخدام التخزين السحابي للتعاون.
Essayez ces prompts
Create a Zarr array with shape (10000, 10000), chunks of (1000, 1000), and float32 dtype. Store it at data/my_array.zarr.
Set up a Zarr array stored in S3 with s3fs. Use bucket my-bucket and path data/arrays.zarr.
Load a Zarr array as a Dask array and compute the mean along axis 0 in parallel.
Create a Zarr array optimized for cloud storage: 10MB chunks, consolidated metadata, and sharding enabled.
Bonnes pratiques
- اختر أحجام مقاطع من 1-10 ميجابايت لأداء I/O الأمثل
- قم بمحاذاة شكل المقطع مع نمط الوصول إلى البيانات (مثلاً الوقت أولاً للسلاسل الزمنية)
- قم بتوحيد البيانات الوصفية عند استخدام التخزين السحابي لتقليل زمن الاستجابة
Éviter
- تجنب تحميل المصفوفات الكبيرة بالكامل في الذاكرة - عالجها بالمقاطع
- لا تستخدم مقاطع صغيرة (<1 ميجابايت) لأنها تخلق حملاً مفرطاً للبيانات الوصفية
- تجنب الكتابة المتكررة في نفس موقع التخزين السحابي بدون تزامن
Foire aux questions
ما الفرق بين صيغتي Zarr v2 و v3؟
كيف أختار حجم المقطع المناسب؟
هل يمكن لـ Zarr التعامل مع مصفوفات أكبر من الذاكرة المتاحة؟
ما الضغط الذي يجب أن أستخدمه؟
كيف يقارن Zarr بـ HDF5؟
هل يمكنني استخدام Zarr مع ملفات HDF5 الموجودة؟
Détails du développeur
Auteur
K-Dense-AILicence
MIT license
Dépôt
https://github.com/K-Dense-AI/claude-scientific-skills/tree/main/scientific-skills/zarr-pythonRéf
main
Structure de fichiers