Compétences data-engineering-data-pipeline
📦

data-engineering-data-pipeline

Risque faible

확장 가능한 데이터 파이프라인 구축

프로덕션 수준의 데이터 파이프라인 설계는 복잡하고 오류 발생 가능성이 높습니다. 이 스킬은 ETL, 스트리밍, 레이크하우스 시스템을 위한 검증된 아키텍처 패턴과 구현 가이드를 제공합니다.

Prend en charge: Claude Codex Code(CC)
📊 71 Adéquat
1

Télécharger le ZIP du skill

2

Importer dans Claude

Allez dans Paramètres → Capacités → Skills → Importer un skill

3

Activez et commencez à utiliser

Tester

Utilisation de "data-engineering-data-pipeline". MySQL 에서 Snowflake 로 일일 고객 데이터 동기화를 위한 배치 파이프라인 설계

Résultat attendu:

아키텍처: 증분 로딩을 포함한 ELT 패턴. 구성 요소: (1) 'updated_at' 워터마크 컬럼을 사용한 추출, (2) S3 staging 에 원본 데이터 로드, (3) dbt 를 사용한 Snowflake 에서 변환, (4) dbt 테스트를 통한 검증, (5) Slack 을 통한 실패 알림. 주요 고려사항: 늦게 도착하는 데이터 처리, 재시도 로직 구현, 행 수 변동 모니터링.

Utilisation de "data-engineering-data-pipeline". 스트리밍 파이프라인에서 스키마 변경을 어떻게 처리하나요?

Résultat attendu:

전략: 호환성 검사를 포함한 스키마 레지스트리 사용. 추가 변경의 경우 기본값 사용. 주요 변경의 경우 마이그레이션 중 이중 기록 구현. 도구: Kafka 를 위한 Confluent Schema Registry, mergeSchema 옵션을 포함한 Delta Lake 스키마 변경. 배포 전 항상 하위 호환성을 테스트하세요.

Audit de sécurité

Risque faible
v1 • 2/24/2026

All static analyzer findings are false positives. The skill is documentation-only, providing architectural guidance and educational code examples. No executable code, external commands, or security risks detected. Safe for publication.

1
Fichiers analysés
204
Lignes analysées
3
résultats
1
Total des audits
Problèmes à risque faible (3)
SKILL.md:3SKILL.md:28SKILL.md:39SKILL.md:42SKILL.md:94SKILL.md:167
Static Analyzer False Positives - Weak Cryptographic Algorithm
Static analyzer flagged lines 3, 28, 39, 42, 94, and 167 as containing weak cryptographic algorithms. Review confirms these are false positives - the flagged lines contain architectural terms (ETL/ELT, Lambda, Kappa) and documentation headers, not cryptographic code.
SKILL.md:124-159
Static Analyzer False Positive - External Command Execution
Static analyzer flagged line 124 as Ruby/shell backtick execution. Review confirms this is a Python code example showing batch ingestion patterns, not shell command execution.
SKILL.md:49SKILL.md:116SKILL.md:184
Static Analyzer False Positives - Reconnaissance Patterns
Static analyzer flagged lines 49, 116, and 184 as system/network reconnaissance. Review confirms these are data pipeline terminology (metadata tracking fields, partitioning strategies, monitoring alerts), not reconnaissance activity.
Audité par: claude

Score de qualité

38
Architecture
100
Maintenabilité
87
Contenu
50
Communauté
84
Sécurité
91
Conformité aux spécifications

Ce que vous pouvez construire

신규 파이프라인 아키텍처

스프레드시트에서 모던 데이터 스택으로 마이그레이션하는 스타트업을 위해 처음부터 완전한 데이터 파이프라인을 설계합니다.

스트리밍 마이그레이션 전략

Kafka 와 스트림 처리 프레임워크를 사용하여 기존 배치 파이프라인을 실시간 스트리밍 아키텍처로 전환합니다.

데이터 품질 프레임워크 구현

Great Expectations 와 dbt 테스트를 사용하여 자동화된 알림과 함께 포괄적인 데이터 품질 검사를 구현합니다.

Essayez ces prompts

기본 파이프라인 설계 
PostgreSQL 에서 매일 데이터를 추출하여 변환한 후 데이터 웨어하우스에 로드하는 데이터 파이프라인을 구축해야 합니다. 어떤 아키텍처를 사용해야 하며 주요 구성 요소는 무엇입니까?
스트리밍 아키텍처 선택 
애플리케이션에서 발생하는 대량의 이벤트 데이터를 보유하고 있으며 실시간에 가까운 분석이 필요합니다. 분당 100 만 이벤트를 처리하는 사용 사례에 대해 Lambda 와 Kappa 아키텍처를 비교해 주세요.
데이터 품질 구현 
Great Expectations 를 사용하여 orders 테이블에 대한 데이터 품질 검사를 구현하는 방법을 보여주세요. order ID 의 고유성, customer ID 의 null 금지, order 금액의 양수 검증을 수행해야 합니다.
비용 최적화 검토 
월간 데이터 파이프라인 비용이 두 배로 증가했습니다. 아키텍처를 검토하고 SLA 를 유지하면서 비용을 절감할 구체적인 권장사항을 제공해 주세요. 현재 스택: Airflow, Spark, S3, Redshift.

Bonnes pratiques

  • 아키텍처 패턴 선택 전 데이터 소스, 데이터 양, 지연 시간 요구사항, 대상 시스템 평가
  • 전체 데이터셋 재처리를 피하기 위해 워터마크 컬럼을 사용한 증분 처리 구현
  • 검증 실패 시 자동 알림과 함께 각 파이프라인 단계에서 데이터 품질 게이트 추가

Éviter

  • 특정 데이터 양 및 처리 속도 요구사항에 맞게 수정하지 않고 프로덕션 패턴 복사
  • 비즈니스 요구사항과 팀 역량 대신 트렌드에 기반하여 아키텍처 선택
  • 모니터링, 가시성, 운영 런북보다 기능 우선시

Foire aux questions

실시간 분석을 위해 Lambda 와 Kappa 아키텍처 중 무엇을 사용해야 하나요?
복잡한 집계와 함께 배치 정확성과 저지연 뷰가 모두 필요한 경우 Lambda 를 선택하세요. 리플레이 기능으로 충분한 더 간단한 스트림 전용 처리의 경우 Kappa 를 선택하세요. Kappa 는 운영 복잡성을 줄이지만 강력한 스트림 처리 인프라가 필요합니다.
스트리밍 파이프라인에서 늦게 도착하는 데이터를 어떻게 처리하나요?
지연 허용 임계값을 정의하기 위해 워터마크와 함께 이벤트 시간 처리를 사용하세요. 재처리할 수 있는 늦은 데이터를 위해 사이드 출력을 구현하세요. 중요한 데이터의 경우 놓친 레코드를 수정하기 위해 정기적으로 실행되는 배치 수정 작업을 유지하세요.
데이터 레이크 스토리지에 어떤 파일 형식을 사용해야 하나요?
압축 및 프리디케이트 푸시다운을 사용한 컬럼형 분석 워크로드에는 Parquet 을 사용하세요. Delta Lake 나 Iceberg 는 Parquet 위에 ACID 트랜잭션, 스키마 변경, 시간 이동 기능을 추가합니다. 트랜잭션 및 메타데이터 관리 필요성에 따라 선택하세요.
변환을 위해 dbt 와 Spark 중 언제 무엇을 사용해야 하나요?
내장된 테스트 및 문서화와 함께 데이터 웨어하우스에서 SQL 기반 변환을 위해서는 dbt 를 사용하세요. 대규모 데이터 처리, Python/Scala 가 필요한 복잡한 변환, 또는 웨어하우스에 로드하기 전 데이터 레이크 작업 시 Spark 를 사용하세요.
스트리밍에서 정확히 한 번 처리를 어떻게 달성하나요?
트랜잭션 처리와 멱등성 싱크를 결합하세요. 원자적 기록을 위해 Kafka 트랜잭션을 사용하고, 복구를 위해 상태를 체크포인팅하며, 멱등성 연산을 설계하세요. 데이터베이스의 경우 중복을 방지하기 위해 고유 제약조건과 함께 upsert 연산을 사용하세요.
데이터 파이프라인에 필수적인 모니터링 지표는 무엇인가요?
단계별 처리 및 실패 레코드 수, 엔드투엔드 지연 시간, 데이터 신선도, 파이프라인 성공률, 리소스 사용량을 추적하세요. SLA 위반, 오류율 급증, 데이터 품질 실패에 대한 알림을 설정하세요. 중단을 유발하기 전에 용량 문제를 식별하기 위해 트렌드를 모니터링하세요.

Détails du développeur

Auteur

sickn33

Licence

MIT

Dépôt

https://github.com/sickn33/antigravity-awesome-skills/tree/main/skills/data-engineering-data-pipeline

Réf

main

Structure de fichiers

📄 SKILL.md