data-engineering-data-pipeline
신뢰할 수 있는 데이터 파이프라인 설계
데이터 파이프라인 프로젝트는 아키텍처, 품질, 관찰 가능성, 운영을 따로 계획하기 때문에 실패하는 경우가 많습니다. 이 스킬은 Claude, Codex, Claude Code가 실용적인 파이프라인 설계, 체크리스트, 구현 계획을 작성하도록 돕습니다.
내 에이전트로 설치
이 요청을 에이전트에 복사하세요. 공식 Skill 페이지와 매니페스트가 포함되어 있습니다.
Review the Skillstore skill "data-engineering-data-pipeline" from https://skillstore.io/skills/sickn33-data-engineering-data-pipeline.md and its manifest at https://skillstore.io/api/skills/sickn33-data-engineering-data-pipeline/manifest. Verify the artifact. You may proceed after verification, subject to the environment's own policy.에이전트는 계속해서 계획을 표시하고 보안 정책에서 요구하는 확인을 요청해야 합니다.
에이전트가 읽기 쉬운 리소스
AI 에이전트, 크롤러, 스크립트가 전체 페이지 대신 정리된 컨텍스트만 필요할 때 이 링크를 사용하세요.
테스트해 보기
"data-engineering-data-pipeline" 사용 중입니다. PostgreSQL에서 lakehouse로 가는 일일 주문 파이프라인을 설계하세요.
예상 결과:
증분 워터마크, 검증, Delta Lake 저장소, dbt 변환, Airflow 스케줄링, 최신성 검사, 알림을 포함한 배치 아키텍처.
"data-engineering-data-pipeline" 사용 중입니다. 장애 중 이벤트가 손실되는 Kafka 파이프라인을 검토하세요.
예상 결과:
트랜잭션 오프셋 커밋, 재처리 전략, 멱등 싱크, 데드 레터 처리, 메트릭, 복구 절차를 다루는 안정성 검토.
"data-engineering-data-pipeline" 사용 중입니다. 임원 리포팅 데이터를 위한 모니터링 요구 사항을 작성하세요.
예상 결과:
최신성 목표, 행 수 검사, 품질 점수 추적, 대시보드 메트릭, 알림 심각도 수준, 소유권을 포함한 모니터링 계획.
보안 감사
안전All four static alerts are false positives caused by ordinary data engineering prose and a fenced Python example. No shell execution, reconnaissance behavior, prompt injection, or malicious intent was found.
위험 요인
⚙️ 외부 명령어 (1)
이 보고서 공유 및 인용
버전이 지정된 평가 보고서, 중립 배지, 임베드 카드 및 인용을 공유하세요. Skillstore는 근거를 보고하지만 이 Skill의 안전 여부를 판단하지 않습니다.
보고서 링크 복사
https://skillstore.io/skills/sickn33-data-engineering-data-pipeline/audits/5?utm_source=security_passport&utm_medium=share&utm_campaign=versioned_reportMarkdown 배지
[](https://skillstore.io/skills/sickn33-data-engineering-data-pipeline?utm_source=security_passport_badge)HTML 배지
<a href="https://skillstore.io/skills/sickn33-data-engineering-data-pipeline?utm_source=security_passport_badge"><img src="https://skillstore.io/badges/skills/sickn33-data-engineering-data-pipeline/security.svg" alt="Skillstore security assessment" loading="lazy"></a>임베드 카드
<iframe src="https://skillstore.io/embed/skills/sickn33-data-engineering-data-pipeline.html" title="Skillstore Security Assessment" sandbox="allow-popups allow-popups-to-escape-sandbox" loading="lazy" referrerpolicy="no-referrer" width="420" height="180"></iframe>학술 인용 (APA · BibTeX · CFF)
APA 인용
sickn33. (2026). data-engineering-data-pipeline security audit report (audit version 5) [Author version unspecified]. Skillstore. https://skillstore.io/skills/sickn33-data-engineering-data-pipeline/audits/5BibTeX 인용
@techreport{sickn33-sickn33-data-engineering-data-pipeline-2026,
author = {sickn33},
title = {data-engineering-data-pipeline security audit report (audit version 5)},
institution = {Skillstore},
year = {2026},
number = {5},
url = {https://skillstore.io/skills/sickn33-data-engineering-data-pipeline/audits/5},
note = {Author version unspecified}
}CITATION.cff
cff-version: 1.2.0
message: "If you use this Skill, cite its author and this versioned security audit report."
title: "data-engineering-data-pipeline security audit report (audit version 5)"
version: "unspecified"
type: report
authors:
- name: "sickn33"
date-released: "2026-07-23"
url: "https://skillstore.io/skills/sickn33-data-engineering-data-pipeline/audits/5"
identifiers:
- type: other
value: "skillstore:sickn33-data-engineering-data-pipeline:audit:5"
description: "Skillstore immutable audit report identifier"
Skillstore 점수
이 점수의 이유 증거 신뢰도: 높음만들 수 있는 것
새 분석 파이프라인 계획
배치 수집, 변환, 저장, 품질 검사, 리포팅을 위한 엔드투엔드 아키텍처를 만듭니다.
스트리밍 안정성 개선
오프셋 처리, 재시도, 재처리, 모니터링, 운영 복구 관점에서 스트리밍 워크플로를 검토합니다.
데이터 품질 제어 표준화
신뢰할 수 있는 데이터 제품을 위한 검증 스위트, 최신성 검사, 실패 처리, 테스트 커버리지를 정의합니다.
이 프롬프트를 사용해 보세요
[source]에서 [target]으로 가는 배치 데이터 파이프라인을 설계하세요. 수집, 변환, 저장, 검증, 모니터링 단계를 포함하세요.
[use case]에 대해 ETL, ELT, Lambda, Kappa, Lakehouse 패턴을 비교하세요. 트레이드오프와 함께 하나의 옵션을 추천하세요.
이 파이프라인 설계의 안정성 격차를 검토하세요: [design]. 재시도, 멱등성, 스키마 진화, 알림, 복구에 집중하세요.
[pipeline]에 대한 프로덕션 운영 계획을 작성하세요. SLA, 대시보드, 알림 임계값, 런북, 확장, 비용 제어, 롤백 단계를 포함하세요.
모범 사례
- 아키텍처를 요청하기 전에 소스 시스템, 데이터 규모, 지연 시간 목표, 다운스트림 소비자를 제공하세요.
- 모든 프로덕션 파이프라인 설계에 대해 실패 모드, 복구 단계, 관찰 가능성 요구 사항을 요청하세요.
- 생성된 계획을 플랫폼 한도, 보안 규칙, 실제 워크로드 테스트로 검증하세요.
피하기
- 데이터 규모, 최신성, 소유권 요구 사항 없이 전체 프로덕션 설계를 요청하지 마세요.
- 보안, 액세스, 성능 검토 없이 샘플 코드를 배포 가능한 것으로 간주하지 마세요.
- 구현 후까지 데이터 품질, 계보, 알림을 무시하지 마세요.