스킬 parquet-optimization

📦

parquet-optimization

Name: parquet-optimization
Author: EmilLindfors

v1.0.0 콘텐츠 리비전 r1 안전 ⚙️ 외부 명령어

Rust에서 Parquet 성능 최적화

기본값을 사용하면 Parquet 파이프라인은 저장 공간과 메모리를 낭비할 수 있습니다. 이 스킬은 Rust Parquet 읽기와 쓰기를 검토한 뒤 압축, 크기 조정, 프로젝션, 필터링 개선을 제안합니다.

지원: Claude Codex Code(CC)

🥈 80 실버

Maintain this Skill? Claim it 🥈 80 실버

내 에이전트로 설치

이 요청을 에이전트에 복사하세요. 공식 Skill 페이지와 매니페스트가 포함되어 있습니다.

에이전트 요청

Review the Skillstore skill "parquet-optimization" from https://skillstore.io/skills/emillindfors-parquet-optimization.md and its manifest at https://skillstore.io/api/skills/emillindfors-parquet-optimization/manifest. Verify the artifact. You may proceed after verification, subject to the environment's own policy.

에이전트는 계속해서 계획을 표시하고 보안 정책에서 요구하는 확인을 요청해야 합니다.

에이전트가 읽기 쉬운 리소스

AI 에이전트, 크롤러, 스크립트가 전체 페이지 대신 정리된 컨텍스트만 필요할 때 이 링크를 사용하세요.

Markdown 상세 GET /skills/emillindfors-parquet-optimization.md 서명된 manifest GET /api/skills/emillindfors-parquet-optimization/manifest 서명된 lockfile GET /api/skills/emillindfors-parquet-optimization/lockfile

테스트해 보기

"parquet-optimization" 사용 중입니다. Writer가 기본 Parquet 설정을 사용하고 많은 작은 파일을 생성합니다.

예상 결과:

검토 결과 누락된 압축, 작은 파일 위험, row group 크기 지정 부재를 지적합니다.
균형 잡힌 압축 codec, 더 큰 batch, compaction 전략을 권장합니다.

"parquet-optimization" 사용 중입니다. Reader가 넓은 Parquet 테이블에서 모든 열을 로드한 다음 메모리에서 행을 필터링합니다.

예상 결과:

검토 결과 불필요한 I/O와 메모리 부담을 강조합니다.
컬럼 프로젝션, predicate 인식 row group 선택, 스트리밍 batch 처리를 권장합니다.

"parquet-optimization" 사용 중입니다. 팀이 일별 이벤트 데이터를 파티션된 경로 없이 저장합니다.

예상 결과:

검토 결과 제한적인 partition pruning과 날짜 필터 쿼리의 속도 저하를 식별합니다.
날짜 기반 레이아웃과 대표 쿼리 패턴을 통한 검증을 제안합니다.

보안 감사

안전

v4 • 2026. 7. 6. 버전별 보고서 열기

All static findings are false positives caused by Markdown backticks in SKILL.md. The file contains Rust Parquet optimization guidance and examples, with no evidence of command execution, exfiltration intent, or prompt injection.

스캔된 파일

303

분석된 줄 수

검토 항목

오탐 무시됨

가장 최근에 완료된 정적·의미론적 감사에서 확인된 보안 발견 사항이 감지되지 않았습니다. 이는 스킬에 부작용이 없음을 증명하지 않습니다.

감사자: codex 감사 이력 보기 →

이 보고서 공유 및 인용

버전이 지정된 평가 보고서, 중립 배지, 임베드 카드 및 인용을 공유하세요. Skillstore는 근거를 보고하지만 이 Skill의 안전 여부를 판단하지 않습니다.

버전별 보고서 열기

보고서 링크 복사

https://skillstore.io/skills/emillindfors-parquet-optimization/audits/4?utm_source=security_passport&utm_medium=share&utm_campaign=versioned_report

Markdown 배지

[![Skillstore security assessment](https://skillstore.io/badges/skills/emillindfors-parquet-optimization/security.svg)](https://skillstore.io/skills/emillindfors-parquet-optimization?utm_source=security_passport_badge)

HTML 배지

<a href="https://skillstore.io/skills/emillindfors-parquet-optimization?utm_source=security_passport_badge"><img src="https://skillstore.io/badges/skills/emillindfors-parquet-optimization/security.svg" alt="Skillstore security assessment" loading="lazy"></a>

임베드 카드

<iframe src="https://skillstore.io/embed/skills/emillindfors-parquet-optimization.html" title="Skillstore Security Assessment" sandbox="allow-popups allow-popups-to-escape-sandbox" loading="lazy" referrerpolicy="no-referrer" width="420" height="180"></iframe>

학술 인용 (APA · BibTeX · CFF)

APA 인용

EmilLindfors. (2026). parquet-optimization security audit report (audit version 4) [Author version 1.0.0]. Skillstore. https://skillstore.io/skills/emillindfors-parquet-optimization/audits/4

BibTeX 인용

@techreport{emillindfors-emillindfors-parquet-optimization-2026,
  author = {EmilLindfors},
  title = {parquet-optimization security audit report (audit version 4)},
  institution = {Skillstore},
  year = {2026},
  number = {4},
  url = {https://skillstore.io/skills/emillindfors-parquet-optimization/audits/4},
  note = {Author version 1.0.0}
}

CITATION.cff

cff-version: 1.2.0
message: "If you use this Skill, cite its author and this versioned security audit report."
title: "parquet-optimization security audit report (audit version 4)"
version: "1.0.0"
type: report
authors:
  - name: "EmilLindfors"
date-released: "2026-07-06"
url: "https://skillstore.io/skills/emillindfors-parquet-optimization/audits/4"
identifiers:
  - type: other
    value: "skillstore:emillindfors-parquet-optimization:audit:4"
    description: "Skillstore immutable audit report identifier"

Skillstore 점수

이 점수의 이유 증거 신뢰도: 높음

아키텍처

100

유지보수성

콘텐츠

커뮤니티

사양 준수

만들 수 있는 것

Data Lake Writer 튜닝

프로덕션 배포 전에 Parquet writer 설정을 검토하여 저장 비용을 줄이고 스캔 성능을 개선합니다.

쿼리 처리량 개선

대규모 Parquet 데이터셋을 처리하는 reader에서 누락된 프로젝션, 필터링, statistics, 스트리밍 패턴을 찾습니다.

파이프라인 회귀 검토

파일 크기나 지연 시간이 증가한 후 최근 Parquet 코드 변경 사항을 실용적인 최적화 점검 항목과 비교합니다.

이 프롬프트를 사용해 보세요

기본 Writer 검토

기본 성능 설정 관점에서 이 Rust Parquet writer를 검토하세요. 압축, row group 크기, statistics에 집중하세요.

Reader 효율성 점검

이 Parquet 읽기 경로를 분석하세요. 프로젝션, batch size, row group 필터링, 스트리밍 개선 사항을 식별하세요.

Data Lake 레이아웃 조언

클라우드 분석을 위한 이 Parquet 데이터셋 레이아웃을 평가하세요. 파일 크기, 파티셔닝, 압축, 쿼리 pruning을 고려하세요.

프로덕션 최적화 계획

이 Rust 파이프라인을 위한 우선순위 기반 Parquet 최적화 계획을 작성하세요. 예상 영향, 트레이드오프, 검증 지표를 포함하세요.

모범 사례

최적화 조언을 요청하기 전에 대표 스키마, 파일 크기, 쿼리 패턴, 저장소 대상을 공유하세요.
각 권장 사항을 실제 워크로드와 쿼리 엔진의 벤치마크 데이터로 검증하세요.
스캔되는 바이트 수, 메모리 부담, 클라우드 스토리지 요청 오버헤드를 줄이는 변경을 우선시하세요.

피하기

액세스 빈도와 CPU 비용을 고려하지 않고 모든 데이터셋에 하나의 압축 수준을 적용하지 마세요.
대규모 분석 데이터셋에 매우 작은 Parquet 파일을 많이 생성하지 마세요.
스트리밍 batch로 안전하게 처리할 수 있는 경우 대용량 reader 출력을 메모리에 collect하지 마세요.

자주 묻는 질문

이 스킬은 Parquet 파일을 직접 편집하나요?

아니요. Parquet 읽기 및 쓰기 경로에 대한 검토 가이드와 제안된 코드 변경 사항을 제공합니다.

어떤 언어에 초점을 맞추나요?

Parquet, Apache Arrow 및 관련 데이터 엔지니어링 라이브러리를 사용하는 Rust 코드에 초점을 맞춥니다.

최적의 압축 codec을 선택할 수 있나요?

액세스 패턴을 기반으로 가능성 높은 선택지를 추천할 수 있지만, 최종 설정은 벤치마크 데이터로 확인해야 합니다.

클라우드 객체 스토리지에도 도움이 되나요?

예. 클라우드 스토리지에서 파일 크기 조정, 파티셔닝, 재시도 처리, 스캔 효율성에 대한 가이드를 포함합니다.

느린 쿼리를 진단할 수 있나요?

누락된 프로젝션, 약한 pruning, 작은 파일, 비활성화된 statistics 같은 일반적인 Parquet 원인을 식별할 수 있습니다.

기존 프로덕션 파이프라인에도 유용한가요?

예. 현재 패턴을 검토하고 예상 성능 트레이드오프가 포함된 우선순위 변경 사항을 제안할 수 있습니다.

개발자 세부 정보

작성자

EmilLindfors

라이선스

MIT

작성자 버전

v1.0.0

Skillstore 리비전

리포지토리

https://github.com/EmilLindfors/claude-marketplace/tree/main/plugins/rust-data-engineering/skills/parquet-optimization

참조

a06681402992ceae98ba04d54cfd4ab004862696

유지보수 최신성

2026. 7. 22.

사용량

5 다운로드 · 161 조회

파일 구조

📄 SKILL.md

parquet-optimization

내 에이전트로 설치

에이전트가 읽기 쉬운 리소스

테스트해 보기

보안 감사

위험 요인

보고서 링크 복사

Markdown 배지

HTML 배지

임베드 카드

APA 인용

BibTeX 인용

CITATION.cff

Skillstore 점수

만들 수 있는 것

Data Lake Writer 튜닝

쿼리 처리량 개선

파이프라인 회귀 검토

이 프롬프트를 사용해 보세요

모범 사례

피하기

자주 묻는 질문

개발자 세부 정보