zarr-python
대규모 N차원 배열을 효율적으로 저장
Également disponible depuis: davila7
메모리 한계를 초과하는 대규모 데이터셋 작업. Zarr-python은 압축을 사용한 청크 배열 저장을 지원하여 효율적인 클라우드 네이티브 과학 컴퓨팅 워크플로우를 가능하게 합니다.
Télécharger le ZIP du skill
Importer dans Claude
Allez dans Paramètres → Capacités → Skills → Importer un skill
Activez et commencez à utiliser
Tester
Utilisation de "zarr-python". 365개의 시간 스텝, 720개의 위도, 1440개의 경도를 가진 기온 데이터를 저장하기 위한 Zarr 배열 생성.
Résultat attendu:
- Created Zarr array at 'temperature.zarr'
- Shape: (365, 720, 1440) | Chunks: (1, 720, 1440) | Dtype: float32
- Compression: Blosc (zstd, level 5) with shuffle filter
- Each chunk contains one complete daily snapshot (~4MB)
- Use z.append() to add new time steps efficiently
Audit de sécurité
SûrAll 227 static findings are FALSE POSITIVES. The analyzer misidentified markdown documentation content as security vulnerabilities. Backticks in markdown are code formatting, not shell execution. Compression codec names (zstd, gzip, lz4) were flagged as cryptographic algorithms but are data compression. URLs are legitimate documentation links. No executable code, shell commands, or cryptographic operations exist in these documentation files.
Facteurs de risque
⚙️ Commandes externes (2)
🌐 Accès réseau (1)
Score de qualité
Ce que vous pouvez construire
기후 모델 데이터 저장
시간 차원을 가진 테라바이트 규모 기후 데이터 저장. 새 타임스텝을 효율적으로 추가 가능.
모델 체크포인트 관리
대규모 임베딩 매트릭스와 모델 가중치 저장. 분산 학습을 위한 Dask 통합.
유전체 데이터셋 처리
멀티 테라바이트 유전체 배열 처리. 협업을 위한 클라우드 저장소 사용.
Essayez ces prompts
Create a Zarr array with shape (10000, 10000), chunks of (1000, 1000), and float32 dtype. Store it at data/my_array.zarr.
Set up a Zarr array stored in S3 with s3fs. Use bucket my-bucket and path data/arrays.zarr.
Load a Zarr array as a Dask array and compute the mean along axis 0 in parallel.
Create a Zarr array optimized for cloud storage: 10MB chunks, consolidated metadata, and sharding enabled.
Bonnes pratiques
- 최적의 I/O 성능을 위해 1-10MB 크기의 청크 선택
- 데이터 접근 패턴에 맞게 청크 모양 정렬 (예: 시계열은 시간 우선)
- 클라우드 저장소 사용 시 지연시간 줄이기 위해 메타데이터 통합
Éviter
- 전체 큰 배열을 메모리에 로드하는 것 피하기 - 청크로 처리
- 작은 청크(<1MB) 사용하지 않기 - 과도한 메타데이터 오버헤드 발생
- 동기화 없이 동일한 클라우드 저장소 위치에 빈번한 쓰기 피하기
Foire aux questions
Zarr v2와 v3 포맷의 차이점은?
올바른 청크 크기는 어떻게 선택?
Zarr가 사용 가능한 메모리보다 큰 배열을 처리 가능?
어떤 압축을 사용해야?
Zarr는 HDF5와 비교해 어떻게 다름?
기존 HDF5 파일과 Zarr을 함께 사용 가능?
Détails du développeur
Auteur
K-Dense-AILicence
MIT license
Dépôt
https://github.com/K-Dense-AI/claude-scientific-skills/tree/main/scientific-skills/zarr-pythonRéf
main
Structure de fichiers