zarr-python
Trabajar con arrays N-D fragmentados usando Zarr
こちらからも入手できます: K-Dense-AI
El manejo de grandes conjuntos de datos científicos requiere patrones de almacenamiento y acceso eficientes. Zarr proporciona arrays fragmentados y comprimidos con soporte de almacenamiento en la nube e integración perfecta con NumPy, Dask y Xarray para flujos de trabajo de computación científica escalable.
スキルZIPをダウンロード
Claudeでアップロード
設定 → 機能 → スキル → スキルをアップロードへ移動
オンにして利用開始
テストする
「zarr-python」を使用しています。 Create a Zarr array for storing time series temperature data with efficient append operations
期待される結果:
- Created array with shape (0, 720, 1440) - starts empty for appending
- Chunks configured as (1, 720, 1440) - one time step per chunk
- Use z.append(new_data, axis=0) to add new time steps
- Each chunk ~2MB for float32 data
- Access specific time with z[0:10, :, :] for first 10 timesteps
「zarr-python」を使用しています。 Set up a Zarr array in S3 with optimal chunking for cloud access
期待される結果:
- Connected to S3 bucket my-bucket using s3fs
- Created array with chunks (500, 500) for ~1MB chunk size
- Enabled consolidated metadata for faster cloud reads
- Use zarr.open_consolidated() for faster metadata operations
- Consider 5-100MB chunks for production cloud workloads
「zarr-python」を使用しています。 Convert an HDF5 file to Zarr format and process with Dask
期待される結果:
- Read HDF5 dataset using h5py
- Created Zarr array with chunks (1000, 1000)
- Loaded as Dask array for parallel processing
- Computed mean along axis 0 in parallel
- Wrote result to new Zarr array
セキュリティ監査
安全Documentation-only skill containing markdown files. No executable code, scripts, or system access. Static findings are false positives triggered by markdown syntax and compression codec names being misidentified as security issues.
リスク要因
⚙️ 外部コマンド (187)
品質スコア
作れるもの
Análisis de datos climáticos
Almacenar y analizar grandes imágenes satelitales y salidas de modelos climáticos con patrones de acceso fragmentados eficientes.
Gestión de grandes conjuntos de datos
Manejar conjuntos de datos de entrenamiento demasiado grandes para la memoria procesando en fragmentos con E/S paralela.
Flujos de trabajo genómicos
Almacenar y acceder a grandes conjuntos de datos genómicos con compresión e integración de almacenamiento en la nube.
これらのプロンプトを試す
Create a Zarr array with shape (10000, 10000), chunks (1000, 1000), and float32 dtype. Store it at data/my_array.zarr and write random data to it.
Set up a Zarr array stored in S3 bucket my-bucket/path/to/data.zarr using s3fs. Create the array with appropriate chunking for cloud access.
Analyze my access pattern (reading entire rows frequently) and suggest optimal chunk shape for a (10000, 10000) float32 array. Create the array with those chunks.
Load a Zarr array as a Dask array and compute the mean along axis 0 in parallel. Write the result back to a new Zarr array.
ベストプラクティス
- Elija tamaños de fragmento de 1-10 MB y alinee la forma del fragmento con sus patrones de acceso
- Consolide los metadatos para el almacenamiento en la nube para reducir la latencia de N operaciones a 1
- Use Dask para procesar arrays más grandes que la memoria y para computación paralela
回避
- Evite cargar arrays grandes completos en memoria con z[:] - use iteración fragmentada en su lugar
- No use fragmentos pequeños (menos de 1 MB) ya que crean una sobrecarga excesiva de metadatos
- Evite escribir en los mismos fragmentos desde múltiples procesos sin la sincronización adecuada