data-engineering-data-driven-feature
A/B 테스트를 통한 데이터 기반 기능 구축
이 스킬은 분석, 구현 및 실험을 위한 전문 AI 에이전트를 사용하여 데이터 인사이트, A/B 테스트 및 지속적 측정을 기반으로 기능을 구축하기 위한 포괄적인 워크플로우를 제공합니다.
Télécharger le ZIP du skill
Importer dans Claude
Allez dans Paramètres → Capacités → Skills → Importer un skill
Activez et commencez à utiliser
Tester
Utilisation de "data-engineering-data-driven-feature". 새 체크아웃 플로우 최적화를 위한 데이터 기반 기능 시작
Résultat attendu:
워크플로우 계획: (1) EDA 단계 - 현재 전환 퍼널 분석, (2) 가설 - '단순화된 체크아웃이 전환율을 5% 향상시킨다', (3) 실험 설계 - 2 주 테스트, 트래픽 10%, 주 지표: 체크아웃 완료율, (4) 분석 - checkout_start, checkout_step_complete, checkout_abandon 추적, (5) 아키텍처 - LaunchDarkly 기능 플래그, 5% 로 시작하는 점진적 롤아웃
Utilisation de "data-engineering-data-driven-feature". 추천 알고리즘 변경을 위한 실험 설계
Résultat attendu:
통계 설계: 2% 개선을 감지하기 위해 80% 검정력으로 변형당 50,000 명의 사용자 샘플 필요. 주 지표: 클릭률, 가드레일 지표: 지연시간, 오류율. 무작위화: user_id 해시. 분석: 다중 지표에 대한 Bonferroni 보정을 적용한 양측 t-검정.
Audit de sécurité
SûrAll 16 static findings are false positives. The skill is a legitimate data engineering workflow orchestrating specialized agents for data analysis, hypothesis development, A/B testing, and statistical analysis. No external commands, cryptographic algorithms, or malicious code patterns are present.
Problèmes à risque élevé (1)
Problèmes à risque moyen (1)
Score de qualité
Ce que vous pouvez construire
제품 관리자의 실험 계획 수립
제품 관리자는 적절한 실험 설계, 성공 지표 정의 및 통계적 엄격성을 갖춘 데이터 기반 기능 런칭을 계획하기 위해 이 워크플로우를 사용합니다.
데이터 과학자의 분석 구조화
데이터 과학자는 이 워크플로우를 따라 A/B 테스트를 구조화하고, ICE 또는 RICE 스코어링을 사용한 가설을 정의하며, 적절한 통계 분석을 수행합니다.
엔지니어의 기능 플래그 구현
백엔드 엔지니어는 이 워크플로우를 사용하여 기능 플래그를 구현하고, 점진적 롤아웃을 구성하며, 처음부터 적절한 분석 인스트루멘테이션을 설정합니다.
Essayez ces prompts
data-engineering-data-driven-feature 스킬을 사용하여 새 기능을 계획하는 것을 도와주세요. 기능은 다음과 같습니다: [기능 아이디어 설명]. 이를 A/B 테스트로 검증하고 [핵심 비즈니스 지표] 에 대한 영향을 측정하고자 합니다.
[기능 이름] 에 대한 A/B 테스트를 설계해야 합니다. 샘플 사이즈 계산, 성공 지표 및 가드레일 지표를 포함한 통계 실험 설계를 만들어주세요. 목표 지표는 [지표], 예상 개선률은 [퍼센트] 입니다.
[기능] 에 대한 포괄적인 분석 인스트루멘테이션 설계를 도와주세요. [이벤트 목록] 을 포함한 사용자 상호작용을 추적해야 합니다. [Amplitude/Mixpanel/Segment] 에서 세그멘테이션을 위한 이벤트 스키마와 속성을 권장해주세요.
[기능] 에 대한 A/B 테스트가 [시간 기간] 동안 [샘플 사이즈] 사용자로 완료되었습니다. 처리군은 [결과] 를 보였습니다. 통계 분석을 수행하고, 유의성을 계산하며, 비즈니스 영향을 평가하는 것을 도와주세요.
Bonnes pratiques
- p-hacking 을 방지하기 위해 개발 시작 전에 성공 지표와 가드레일 지표를 정의
- 5-10% 트래픽으로 점진적 롤아웃을 시작하고 증가시키기 전에 오류율 모니터링
- 요일 효과를 고려하여 전체 주간 주기로 실험 진행
- 향후 기능 개발 주기를 위해 모든 결정과 학습 내용 문서화
Éviter
- 사전 정의된 성공 기준 없이 실험을 실행하고 임의로 의사 결정
- 점진적 롤아웃 대신 전체 트래픽 롤아웃으로 시작하여 광범위한 문제 위험
- 가드레일 지표를 무시하고 사용자 경험을 해치는 변경사항 배포
- 적절한 검정력 없이 결과가 유망해 보일 때 실험을 조기에 종료