zarr-python
Almacenar grandes arreglos N-dimensionales de forma eficiente
또한 다음에서 사용할 수 있습니다: davila7
Trabajar con grandes conjuntos de datos que superan los límites de memoria. Zarr-python permite el almacenamiento de arreglos por bloques con compresión para flujos de trabajo de computación científica nativos de la nube y eficientes.
스킬 ZIP 다운로드
Claude에서 업로드
설정 → 기능 → 스킬 → 스킬 업로드로 이동
토글을 켜고 사용 시작
테스트해 보기
"zarr-python" 사용 중입니다. Create a Zarr array for storing temperature data with 365 time steps, 720 latitudes, and 1440 longitudes.
예상 결과:
- Created Zarr array at 'temperature.zarr'
- Shape: (365, 720, 1440) | Chunks: (1, 720, 1440) | Dtype: float32
- Compression: Blosc (zstd, level 5) with shuffle filter
- Each chunk contains one complete daily snapshot (~4MB)
- Use z.append() to add new time steps efficiently
보안 감사
안전All 227 static findings are FALSE POSITIVES. The analyzer misidentified markdown documentation content as security vulnerabilities. Backticks in markdown are code formatting, not shell execution. Compression codec names (zstd, gzip, lz4) were flagged as cryptographic algorithms but are data compression. URLs are legitimate documentation links. No executable code, shell commands, or cryptographic operations exist in these documentation files.
위험 요인
⚙️ 외부 명령어 (2)
🌐 네트워크 접근 (1)
품질 점수
만들 수 있는 것
Almacenar datos de modelos climáticos
Almacene datos climáticos a escala de terabytes con dimensiones de tiempo. Permite la adición eficiente de nuevos pasos de tiempo.
Gestionar checkpoints del modelo
Almacene grandes matrices de embeddings y pesos de modelos. Integre con Dask para entrenamiento distribuido.
Procesar conjuntos de datos genómicos
Maneje arreglos genómicos de varios terabytes. Use almacenamiento en la nube para colaboración.
이 프롬프트를 사용해 보세요
Create a Zarr array with shape (10000, 10000), chunks of (1000, 1000), and float32 dtype. Store it at data/my_array.zarr.
Set up a Zarr array stored in S3 with s3fs. Use bucket my-bucket and path data/arrays.zarr.
Load a Zarr array as a Dask array and compute the mean along axis 0 in parallel.
Create a Zarr array optimized for cloud storage: 10MB chunks, consolidated metadata, and sharding enabled.
모범 사례
- Elija tamaños de bloque de 1-10 MB para un rendimiento óptimo de E/S
- Alinee la forma del bloque con su patrón de acceso a los datos (p. ej., primero el tiempo para series temporales)
- Consolide metadatos al usar almacenamiento en la nube para reducir la latencia
피하기
- Evite cargar arreglos grandes completos en memoria: procese en bloques
- No use bloques pequeños (<1MB), ya que crean una sobrecarga excesiva de metadatos
- Evite escrituras frecuentes en la misma ubicación de almacenamiento en la nube sin sincronización
자주 묻는 질문
¿Cuál es la diferencia entre los formatos Zarr v2 y v3?
¿Cómo elijo el tamaño de bloque adecuado?
¿Puede Zarr manejar arreglos más grandes que la memoria disponible?
¿Qué compresión debo usar?
¿Cómo se compara Zarr con HDF5?
¿Puedo usar Zarr con archivos HDF5 existentes?
개발자 세부 정보
작성자
K-Dense-AI라이선스
MIT license
리포지토리
https://github.com/K-Dense-AI/claude-scientific-skills/tree/main/scientific-skills/zarr-python참조
main
파일 구조