メモリ制限を超える大規模なデータセットの操作。Zarr-pythonは、圧縮されたチャンク配列ストレージにより、効率的なクラウドネイティブの科学計算ワークフローを実現します。
スキルZIPをダウンロード
Claudeでアップロード
設定 → 機能 → スキル → スキルをアップロードへ移動
オンにして利用開始
テストする
「zarr-python」を使用しています。 Create a Zarr array for storing temperature data with 365 time steps, 720 latitudes, and 1440 longitudes.
期待される結果:
- Created Zarr array at 'temperature.zarr'
- Shape: (365, 720, 1440) | Chunks: (1, 720, 1440) | Dtype: float32
- Compression: Blosc (zstd, level 5) with shuffle filter
- Each chunk contains one complete daily snapshot (~4MB)
- Use z.append() to add new time steps efficiently
セキュリティ監査
安全All 227 static findings are FALSE POSITIVES. The analyzer misidentified markdown documentation content as security vulnerabilities. Backticks in markdown are code formatting, not shell execution. Compression codec names (zstd, gzip, lz4) were flagged as cryptographic algorithms but are data compression. URLs are legitimate documentation links. No executable code, shell commands, or cryptographic operations exist in these documentation files.
リスク要因
⚙️ 外部コマンド (2)
🌐 ネットワークアクセス (1)
品質スコア
作れるもの
気候モデルデータの保存
時間次元を持つテラバイト規模的气候データを保存。新しいタイムステップの効率的な追加を可能にします。
モデルチェックポイントの管理
大規模な埋め込み行列とモデル重みを保存。分散トレーニングのためにDaskと統合します。
ゲノムデータセットの処理
マルチテラバイト規模のゲノム配列を処理。コラボレーションのためにクラウドストレージを使用します。
これらのプロンプトを試す
Create a Zarr array with shape (10000, 10000), chunks of (1000, 1000), and float32 dtype. Store it at data/my_array.zarr.
Set up a Zarr array stored in S3 with s3fs. Use bucket my-bucket and path data/arrays.zarr.
Load a Zarr array as a Dask array and compute the mean along axis 0 in parallel.
Create a Zarr array optimized for cloud storage: 10MB chunks, consolidated metadata, and sharding enabled.
ベストプラクティス
- 最適なI/Oパフォーマンスのため、チャンクサイズは1-10MBを選択してください
- チャンク形状をデータアクセスパターンに合わせて調整してください（例：時系列は時間優先）
- クラウドストレージを使用する場合は、レイテンシを減らすためにメタデータを統合してください
回避
- 大きな配列全体をメモリに読み込まないでください - チャンクごとに処理してください
- 小さなチャンク（<1MB）は使用しないでください。余分なメタデータオーバーヘッドが発生します
- 同期なしで同じクラウドストレージ場所に頻繁に書き込まないでください
よくある質問
Zarr v2とv3フォーマットの違いは何ですか？
適切なチャンクサイズはどのように選択すればよいですか？
Zarrは利用可能なメモリより大きな配列を処理できますか？
どのような圧縮を使用すべきですか？
ZarrはHDF5とどのように比較されますか？
既存のHDF5ファイルでZarrを使用できますか？
開発者の詳細
作成者
K-Dense-AIライセンス
MIT license
リポジトリ
https://github.com/K-Dense-AI/claude-scientific-skills/tree/main/scientific-skills/zarr-python参照
main
ファイル構成