minimal-run-and-audit
AI 리포지토리 재현 명령 실행 및 감사
AI 논문 재현 실험을 실행하려면 일관된 명령 실행과 표준화된 보고가 필요합니다. 이 스킬은 스모크 테스트, 추론 실행, 또는 평가 명령을 실행하면서 감사 추적을 위한 구조화된 출력 번들을 자동으로 생성합니다.
Descargar el ZIP de la skill
Subir en Claude
Ve a Configuración → Capacidades → Skills → Subir skill
Activa y empieza a usar
Pruébalo
Usando "minimal-run-and-audit". 성공적으로 완료된 스모크 테스트 명령
Resultado esperado:
status.json 은 success 상태를 보고하고, SUMMARY.md 는 명령이 0 종료 코드로 완료되었음을 보여주며, LOG.md 는 캡처된 stdout/stderr 을 포함하고, COMMANDS.md 는 재현성을 위해 실행된 명령을 나열합니다
Usando "minimal-run-and-audit". 60 초 후 타임아웃된 추론 명령
Resultado esperado:
status.json 은 타임아웃 표시자와 함께 partial 상태를 보고하고, SUMMARY.md 는 명령이 전체 타임아웃 기간 동안 실행되었음을 보여주며, 실행 로그는 타임아웃 이전의 부분 출력을 포함합니다
Usando "minimal-run-and-audit". 구성 파일을 수정하는 평가 명령
Resultado esperado:
status.json 은 changed_files 목록을 포함하고, PATCHES.md 는 수정 사항의 git diff 를 문서화하며, SUMMARY.md 는 전체 감사 참조와 함께 패치 상태를 기록합니다
Auditoría de seguridad
Riesgo bajoStatic analysis flagged 16 patterns, but 15 are false positives from misidentified file types (markdown docs flagged as Ruby, YAML config flagged as crypto). One true positive: Python subprocess.run for command execution is legitimate and properly sandboxed with timeout handling and shlex parsing. External command execution is the intended function of this skill.
Problemas de riesgo bajo (1)
Factores de riesgo
⚙️ Comandos externos (2)
Puntuación de calidad
Lo que puedes crear
스모크 테스트 실행
문서화된 스모크 명령을 실행하고 표준화된 증거 번들을 생성하여 리포지토리가 기능하는지 빠르게 검증합니다.
평가 실행 정규화
논문의 README 에 있는 평가 명령을 실행하고 여러 재현 시도 간 비교를 위한 일관된 출력 형식을 생성합니다.
패치 인식 실행 감사
리포지토리 파일을 수정할 수 있는 추론 명령을 실행하고, 변경 사항을 자동으로 추적하며 감사 추적을 위한 패치 문서를 생성합니다.
Prueba estos prompts
README 에서 스모크 테스트 명령을 실행하고 repro_outputs/ 에 표준화된 출력을 생성합니다
docs/evaluation.md 에 지정된 추론 명령을 120 초 타임아웃으로 실행하고 stdout 에서 모든 지표를 캡처합니다.
파인튜닝 검증 명령을 실행하고 실행 중 발생한 리포지토리 수정 사항을 문서화하는 PATCHES.md 를 생성합니다.
세 가지 검증 명령을 순서대로 실행합니다: 무결성 검사, 추론 테스트, 지표 검증. 각 명령에 대한 pass/fail 상태가 포함된 통합 SUMMARY.md 를 생성합니다.
Mejores prácticas
- 명령 유형에 적합한 명시적 타임아웃 값을 항상 지정하세요 - 스모크 테스트는 30-60 초, 추론은 120-300 초가 필요합니다
- 실행 중 이루어진 리포지토리 수정 사항을 커밋하기 전에 생성된 PATCHES.md 를 검토하세요
- git status 검증을 사용하여 명령 실행 중 어떤 파일이 변경되었는지 파악하세요
Evitar
- 학습 실행에 이 스킬을 사용하지 마세요 - 짧은 비학습 명령만을 위해 설계되었습니다
- 검토 없이 신뢰할 수 없는 명령을 실행하지 마세요 - 샌드박스 처리되더라도 명령은 사용자 권한으로 실행됩니다
- partial 상태 보고를 무시하지 마세요 - 타임아웃 또는 0 이 아닌 종료 코드는 명령이 예상대로 완료되지 않았음을 나타냅니다
Preguntas frecuentes
이 스킬로 어떤 유형의 명령을 실행해야 하나요?
이 스킬은 명령 타임아웃을 어떻게 처리하나요?
이 스킬은 어떤 파일을 생성하나요?
이 스킬은 비 Git 리포지토리에서도 작동하나요?
명령 출력에서 지표는 어떻게 추출되나요?
명령이 리포지토리 파일을 수정하면 어떻게 되나요?
Detalles del desarrollador
Autor
lllllllamaLicencia
MIT
Repositorio
https://github.com/lllllllama/ai-paper-reproduction-skill/tree/main/skills/minimal-run-and-audit/Ref.
main
Estructura de archivos