Compétences Data Engineer
📊

Data Engineer

Sûr

データパイプラインとデータウェアハウスの構築

Apache Spark、dbt、Airflow を含む完全なモダンデータスタックを使用して、スケーラブルなデータパイプライン、モダンデータウェアハウス、リアルタイムストリーミングアーキテクチャを設計および実装します。

Prend en charge: Claude Codex Code(CC)
🥉 73 Bronze
1

Télécharger le ZIP du skill

2

Importer dans Claude

Allez dans Paramètres → Capacités → Skills → Importer un skill

3

Activez et commencez à utiliser

Tester

Utilisation de "Data Engineer". マーケティングアナリティクスプラットフォーム向けに dbt と Snowflake でモダンデータスタックを設計します

Résultat attendu:

次を含む包括的なアーキテクチャドキュメント：1) データフローダイアグラム（取り込みには Fivetran、変換には dbt、ストレージには Snowflake を使用）。2) ファクトテーブルとディメンションテーブルを含むスタースキーマ設計。3) ソース、ステージング、マートレイヤーを持つ dbt モデル。4) 主要メトリックのデータ品質テスト。5) コスト最適化の推奨事項。

Utilisation de "Data Engineer". Kafka から BigQuery へのストリーミングパイプラインを構築します

Résultat attendu:

  • Kafka ソ���ス、Flink 処理、BigQuery シンクを含むアーキテクチャ概要
  • 適切な並列性設定を持つ Kafka コンシューマー設定
  • データ変換とウィンドウ集計のための Flink ジョブコ��ド
  • パーティショニングとクラスタリングキーを持つ BigQuery スキーマ設計
  • Datadog または Cloud Monitoring でのモニタリング設定

Audit de sécurité

Sûr
v1 • 2/24/2026

This is a prompt-only skill containing only text instructions for a data engineering assistant. Static analysis scanned 0 files with 0 lines of code. No suspicious patterns, dangerous code patterns, or risk factors detected. The skill defines a data engineer persona with no executable code, network requests, or system access capabilities. Safe for marketplace publication.

0
Fichiers analysés
0
Lignes analysées
0
résultats
1
Total des audits
Aucun problème de sécurité trouvé
Audité par: claude

Score de qualité

38
Architecture
100
Maintenabilité
87
Contenu
50
Communauté
100
Sécurité
83
Conformité aux spécifications

Ce que vous pouvez construire

モダンデータスタックの設計

適切なデータモデリングとテストを行い、Fivetran、dbt、Snowflake を統合した完全なデータプラットフォームアーキテクチャを作成します。

リアルタイムストリーミングパイプラインの構築

Kafka からデータウェアハウスへ毎秒数百万イベントを処理するスケーラブルなストリーミングアーキテクチャを設計します。

データ品質フレームワークの実装

信頼性の高いデータパイプラインを確保するために、包括的なデータ品質チェック、モニタリング、アラートを確立します。

Essayez ces prompts

バッチパイプラインの設計 
Apache Airflow を使用して PostgreSQL から Snowflake データウェアハウスへデータを取り込むバッチデータパイプラインを設計します。増分ロードパターン、データ品質チェック、エラーハンドリングを含めます。
アーキテクチャレビュー 
現在のデータアーキテクチャをレビューし、コスト最適化、パフォーマンス、スケーラビリティの改善点を提案します。私のスタックには AWS S3、Redshift、Glue が含まれます。
リアルタイムパイプラインの設計 
Kafka から毎秒 10 万イベントを処理し、Apache Flink で変換を適用し、アナリティクスのために BigQuery に書き込むリアルタイムストリーミングパイプラインを設計します。
データ品質フレームワーク 
Great Expectations を使用したデータ品質フレームワークを作成し、スキーマを検証し、ヌル値をチェックし、ETL パイプラ��ン全体でデータ分布をモニタリングします。

Bonnes pratiques

  • パイプラインを構築する前に、明確なデータコントラクトと SLA を設定します
  • パイプラインの各ステージでデータ品質チェックを実装します
  • 再現可能なデプロイのためにインフラストラクチャをコード化（Terraform）を使用します

Éviter

  • モジュール式の変換ステージを持たないモノリシックパイプラインの構築
  • 本番デプロイ前のデータ品質検証のスキップ
  • クラウドデータサービス選択時のコスト影響の無視

Foire aux questions

モダンデータスタックとは何ですか？
モダンデータスタックは、データ統合、変換、アナリティクスのためのクラウドネイティブツールの集合です。通常、取り込みには Fivetran または Airbyte、変換には dbt、ストレージには Snowflake または BigQuery が含まれます。
バッチ処理とストリーミング処理の使い分けは？
スケジュールされた ETL ジョブ、レポート、ほぼリアルタイムのデータが不要な場合にはバッチ処理を使用します。リアルタイムアナリティクス、不正検出、即時のデータ利用可能性を必要とするアプリケーションにはストリーミングを使用します。
データレイクハウスとは何ですか？
データレイクハウスは、データレイクの柔軟性とデータウェアハウスの管理機能を組み合わせたものです。Delta Lake や Apache Iceberg などのフォーマットを使用して、クラウドオブジェクトストレージ上で ACID トランザクションを提供します。
パイプラインでデータ品質を確保するには？
各パイプラインステージで Great Expectations または dbt テストを使用したデータ品質チェックを実装します。スキーマ、ヌル値、一意性、ビジネスロジックの検証ルールを定義します。品質失敗時のアラートを設定します。
変更データキャプチャ（CDC）とは何ですか？
CDC は、データベースデータに対する変更を識別してキャプチャするパターンです。これらの変更をリアルタイムでデータウェアハウスや他のシステムにストリーミングし、ほぼリアルタイムのデータ同期を可能にします。
データウェアハウスのコストを最適化するには？
適切なデータパーティショニングとクラスタリングを使用し、増分ロードを実装し、一般的なクエリにはマテリアライズドビューを活用し、最適化の機会を特定するためにクエリパフォーマンスをモニタリングします。

Détails du développeur

Auteur

sickn33

Licence

MIT

Dépôt

https://github.com/sickn33/antigravity-awesome-skills/tree/main/skills/data-engineer

Réf

main

Structure de fichiers

📄 SKILL.md