Compétences Data Engineer
📊

Data Engineer

Sûr

데이터 파이프라인 및 데이터 웨어하우스 구축

Apache Spark, dbt, Airflow 를 포함한 현대적인 데이터 스택을 사용하여 확장 가능한 데이터 파이프라인, 최신 데이터 웨어하우스, 실시간 스트리밍 아키텍처를 설계하고 구현합니다.

Prend en charge: Claude Codex Code(CC)
🥉 73 Bronze
1

Télécharger le ZIP du skill

2

Importer dans Claude

Allez dans Paramètres → Capacités → Skills → Importer un skill

3

Activez et commencez à utiliser

Tester

Utilisation de "Data Engineer". 마케팅 분석 플랫폼을 위한 dbt 와 Snowflake 를 포함한 최신 데이터 스택 설계

Résultat attendu:

다음과 같은 포괄적인 아키텍처 문서: 1) 수집을 위한 Fivetran, 변환을 위한 dbt, 저장을 위한 Snowflake 를 보여주는 데이터 흐름 다이어그램. 2) 팩트 및 차원 테이블을 포함한 스타 스키마 설계. 3) 소스, 스테이징, 마트 레이어를 포함한 dbt 모델. 4) 주요 지표에 대한 데이터 품질 테스트. 5) 비용 최적화 권장사항.

Utilisation de "Data Engineer". Kafka 에서 BigQuery 로의 스트리밍 파이프라인 구축

Résultat attendu:

  • Kafka 소스, Flink 처리, BigQuery 싱크를 포함한 아키텍처 개요
  • 적절한 병렬 처리 설정을 포함한 Kafka 컨슈머 구성
  • 데이터 변환 및 윈도우 기반 집계를 위한 Flink 작업 코드
  • 파티셔닝 및 클러스터링 키를 포함한 BigQuery 스키마 설계
  • Datadog 또는 Cloud Monitoring 을 사용한 모니터링 설정

Audit de sécurité

Sûr
v1 • 2/24/2026

This is a prompt-only skill containing only text instructions for a data engineering assistant. Static analysis scanned 0 files with 0 lines of code. No suspicious patterns, dangerous code patterns, or risk factors detected. The skill defines a data engineer persona with no executable code, network requests, or system access capabilities. Safe for marketplace publication.

0
Fichiers analysés
0
Lignes analysées
0
résultats
1
Total des audits
Aucun problème de sécurité trouvé
Audité par: claude

Score de qualité

38
Architecture
100
Maintenabilité
87
Contenu
50
Communauté
100
Sécurité
83
Conformité aux spécifications

Ce que vous pouvez construire

최신 데이터 스택 설계

적절한 데이터 모델링과 테스트를 갖춘 Fivetran, dbt, Snowflake 를 통합한 완전한 데이터 플랫폼 아키텍처를 생성합니다.

실시간 스트리밍 파이프라인 구축

Kafka 에서 데이터 웨어하우스로 초당 수백만 개의 이벤트를 처리하는 확장 가능한 스트리밍 아키텍처를 설계합니다.

데이터 품질 프레임워크 구현

안정적인 데이터 파이프라인을 보장하기 위한 포괄적인 데이터 품질 검사, 모니터링, 알림을 구축합니다.

Essayez ces prompts

배치 파이프라인 설계 
Apache Airflow 를 사용하여 PostgreSQL 에서 Snowflake 데이터 웨어하우스로 데이터를 수집하는 배치 데이터 파이프라인을 설계하세요. 증분 로드 패턴, 데이터 품질 검사, 오류 처리를 포함하세요.
아키텍처 검토 
현재 데이터 아키텍처를 검토하고 비용 최적화, 성능, 확장성을 위한 개선 사항을 제안하세요. 내 스택에는 AWS S3, Redshift, Glue 가 포함되어 있습니다.
실시간 파이프라인 설계 
Kafka 에서 초당 10 만 개의 이벤트를 처리하고 Apache Flink 로 변환을 적용한 후 분석을 위해 BigQuery 에 쓰는 실시간 스트리밍 파이프라인을 설계하세요.
데이터 품질 프레임워크 
스키마를 검증하고 null 값을 확인하며 ETL 파이프라인 전반에 걸쳐 데이터 분포를 모니터링하는 Great Expectations 기반 데이터 품질 프레임워크를 생성하세요.

Bonnes pratiques

  • 파이프라인 구축 전에 명확한 데이터 계약과 SLA 를 정의하세요
  • 파이프라인의 각 단계에서 데이터 품질 검사를 구현하세요
  • 재현 가능한 배포를 위해 인프라를 코드 (Terraform) 로 관리하세요

Éviter

  • 모듈식 변환 단계 없이 모놀리식 파이프라인 구축
  • 프로덕션 배포 전 데이터 품질 검증 생략
  • 클라우드 데이터 서비스 선택 시 비용 영향 무시

Foire aux questions

현대 데이터 스택이란 무엇인가요?
현대 데이터 스택은 데이터 통합, 변환, 분석을 위한 클라우드 네이티브 도구 모음입니다. 일반적으로 수집을 위한 Fivetran 또는 Airbyte, 변환을 위한 dbt, 저장을 위한 Snowflake 또는 BigQuery 를 포함합니다.
언제 배치 처리 대신 스트리밍 처리를 사용해야 하나요?
예정된 ETL 작업, 보고, 실시간 데이터가 필수적이지 않은 경우 배치 처리를 사용하세요. 실시간 분석, 사기 탐지, 즉각적인 데이터 가용성이 필요한 애플리케이션에는 스트리밍을 사용하세요.
데이터 레이크하우스란 무엇인가요?
데이터 레이크하우스는 데이터 레이크의 유연성과 데이터 웨어하우스의 관리 기능을 결합합니다. Delta Lake 또는 Apache Iceberg 와 같은 형식을 사용하여 클라우드 객체 스토리지에서 ACID 트랜잭션을 제공합니다.
파이프라인에서 데이터 품질을 어떻게 보장하나요?
각 파이프라인 단계에서 Great Expectations 또는 dbt 테스트를 사용하여 데이터 품질 검사를 구현하세요. 스키마, null 값, 고유성, 비즈니스 로직에 대한 검증 규칙을 정의하세요. 품질 장애에 대한 알림을 설정하세요.
변경 데이터 캡처 (CDC) 란 무엇인가요?
CDC 는 데이터베이스 데이터에 가해진 변경 사항을 식별하여 캡처하는 패턴입니다. 이러한 변경 사항을 실시간으로 데이터 웨어하우스 또는 기타 시스템에 스트리밍하여 근실시간 데이터 동기화를 가능하게 합니다.
데이터 웨어하우스 비용을 어떻게 최적화하나요?
적절한 데이터 파티셔닝 및 클러스터링을 사용하고, 증분 로딩을 구현하며, 일반적인 쿼리에 대해 머티리얼라이즈드 뷰를 활용하고, 쿼리 성능을 모니터링하여 최적화 기회를 식별하세요.

Détails du développeur

Auteur

sickn33

Licence

MIT

Dépôt

https://github.com/sickn33/antigravity-awesome-skills/tree/main/skills/data-engineer

Réf

main

Structure de fichiers

📄 SKILL.md