zarr-python
تخزين المصفوفات N-dimensional الكبيرة بكفاءة
또한 다음에서 사용할 수 있습니다: davila7
العمل مع مجموعات البيانات الكبيرة التي تتجاوز حدود الذاكرة. يتيح zarr-python تخزين المصفوفات المقسمة مع الضغط لسير عمل حوسبة علمية سحابية أصلية.
스킬 ZIP 다운로드
Claude에서 업로드
설정 → 기능 → 스킬 → 스킬 업로드로 이동
토글을 켜고 사용 시작
테스트해 보기
"zarr-python" 사용 중입니다. إنشاء مصفوفة Zarr لتخزين بيانات درجة الحرارة مع 365 خطوة زمنية و 720 خط عرض و 1440 خط طول.
예상 결과:
- Created Zarr array at 'temperature.zarr'
- Shape: (365, 720, 1440) | Chunks: (1, 720, 1440) | Dtype: float32
- Compression: Blosc (zstd, level 5) with shuffle filter
- Each chunk contains one complete daily snapshot (~4MB)
- Use z.append() to add new time steps efficiently
보안 감사
안전All 227 static findings are FALSE POSITIVES. The analyzer misidentified markdown documentation content as security vulnerabilities. Backticks in markdown are code formatting, not shell execution. Compression codec names (zstd, gzip, lz4) were flagged as cryptographic algorithms but are data compression. URLs are legitimate documentation links. No executable code, shell commands, or cryptographic operations exist in these documentation files.
위험 요인
⚙️ 외부 명령어 (2)
🌐 네트워크 접근 (1)
품질 점수
만들 수 있는 것
تخزين بيانات نموذج المناخ
تخزين بيانات المناخ بتيرابايت مع أبعاد الوقت. تمكين الإضافة الفعالة للخطوات الزمنية الجديدة.
إدارة نقاط التحقق للنموذج
تخزين مصفوفات التضمين الكبيرة وأوزان النموذج. التكامل مع Dask للتدريب الموزع.
معالجة مجموعات البيانات الجينومية
التعامل مع المصفوفات الجينومية متعددة التيرابايت. استخدام التخزين السحابي للتعاون.
이 프롬프트를 사용해 보세요
Create a Zarr array with shape (10000, 10000), chunks of (1000, 1000), and float32 dtype. Store it at data/my_array.zarr.
Set up a Zarr array stored in S3 with s3fs. Use bucket my-bucket and path data/arrays.zarr.
Load a Zarr array as a Dask array and compute the mean along axis 0 in parallel.
Create a Zarr array optimized for cloud storage: 10MB chunks, consolidated metadata, and sharding enabled.
모범 사례
- اختر أحجام مقاطع من 1-10 ميجابايت لأداء I/O الأمثل
- قم بمحاذاة شكل المقطع مع نمط الوصول إلى البيانات (مثلاً الوقت أولاً للسلاسل الزمنية)
- قم بتوحيد البيانات الوصفية عند استخدام التخزين السحابي لتقليل زمن الاستجابة
피하기
- تجنب تحميل المصفوفات الكبيرة بالكامل في الذاكرة - عالجها بالمقاطع
- لا تستخدم مقاطع صغيرة (<1 ميجابايت) لأنها تخلق حملاً مفرطاً للبيانات الوصفية
- تجنب الكتابة المتكررة في نفس موقع التخزين السحابي بدون تزامن
자주 묻는 질문
ما الفرق بين صيغتي Zarr v2 و v3؟
كيف أختار حجم المقطع المناسب؟
هل يمكن لـ Zarr التعامل مع مصفوفات أكبر من الذاكرة المتاحة؟
ما الضغط الذي يجب أن أستخدمه؟
كيف يقارن Zarr بـ HDF5؟
هل يمكنني استخدام Zarr مع ملفات HDF5 الموجودة؟
개발자 세부 정보
작성자
K-Dense-AI라이선스
MIT license
리포지토리
https://github.com/K-Dense-AI/claude-scientific-skills/tree/main/scientific-skills/zarr-python참조
main
파일 구조