Data Engineer
Datenpipelines und Data Warehouses entwickeln
Entwerfen und implementieren Sie skalierbare Datenpipelines, moderne Data Warehouses und Echtzeit-Streaming-Architekturen mit dem kompletten modernen Datenstack einschließlich Apache Spark, dbt und Airflow.
Die Skill-ZIP herunterladen
In Claude hochladen
Gehe zu Einstellungen → Fähigkeiten → Skills → Skill hochladen
Einschalten und loslegen
Teste es
Verwendung von "Data Engineer". Design a modern data stack with dbt and Snowflake for a marketing analytics platform
Erwartetes Ergebnis:
Ein umfassendes Architektur-Dokument mit: 1) Datenflussdiagramm mit Fivetran für Ingestion, dbt für Transformation und Snowflake für Speicherung. 2) Star-Schema-Design mit Fakt- und Dimensionstabellen. 3) dbt-Models mit Source-, Staging- und Marts-Layern. 4) Datenqualitätstests für wichtige Metriken. 5) Empfehlungen zur Kostenoptimierung.
Verwendung von "Data Engineer". Build a streaming pipeline from Kafka to BigQuery
Erwartetes Ergebnis:
- Architekturübersicht mit Kafka-Quelle, Flink-Verarbeitung und BigQuery-Sink
- Kafka-Consumer-Konfiguration mit entsprechenden Parallelitätseinstellungen
- Flink-Job-Code für Datentransformation und fensterbasierte Aggregationen
- BigQuery-Schema-Design mit Partitionierungs- und Clustering-Keys
- Monitoring-Setup mit Datadog oder Cloud Monitoring
Sicherheitsaudit
SicherThis is a prompt-only skill containing only text instructions for a data engineering assistant. Static analysis scanned 0 files with 0 lines of code. No suspicious patterns, dangerous code patterns, or risk factors detected. The skill defines a data engineer persona with no executable code, network requests, or system access capabilities. Safe for marketplace publication.
Qualitätsbewertung
Was du bauen kannst
Modernen Datenstack entwerfen
Erstellen Sie eine vollständige Datenplattform-Architektur mit Integration von Fivetran, dbt und Snowflake einschließlich ordnungsgemäßer Datenmodellierung und Testing.
Echtzeit-Streaming-Pipeline entwickeln
Entwerfen Sie eine skalierbare Streaming-Architektur, die Millionen von Ereignissen pro Sekunde von Kafka zu einem Data Warehouse verarbeitet.
Datenqualitäts-Framework implementieren
Etablieren Sie umfassende Datenqualitätsprüfungen, Monitoring und Alerting für zuverlässige Datenpipelines.
Probiere diese Prompts
Design a batch data pipeline that ingests data from PostgreSQL to a Snowflake data warehouse using Apache Airflow. Include incremental loading patterns, data quality checks, and error handling.
Review my current data architecture and suggest improvements for cost optimization, performance, and scalability. My stack includes AWS S3, Redshift, and Glue.
Design a real-time streaming pipeline that processes 100K events per second from Kafka, applies transformations with Apache Flink, and writes to BigQuery for analytics.
Create a data quality framework using Great Expectations that validates schema, checks for null values, and monitors data distributions across my ETL pipelines.
Bewährte Verfahren
- Beginnen Sie mit klaren Datenverträgen und SLAs vor dem Pipeline-Bau
- Implementieren Sie Datenqualitätsprüfungen auf jeder Pipeline-Stufe
- Verwenden Sie Infrastructure as Code (Terraform) für reproduzierbare Deployments
Vermeiden
- Entwicklung monolithischer Pipelines ohne modulare Transformationsstufen
- Überspringen der Datenqualitätsvalidierung vor dem Production-Deployment
- Ignorieren der Kostenauswirkungen bei der Auswahl von Cloud-Daten-Diensten