Навыки parquet-optimization
📦

parquet-optimization

v1.0.0 Ревизия содержимого r1 Безопасно ⚙️ Внешние команды

Оптимизация производительности Parquet в Rust

Конвейеры Parquet могут неэффективно расходовать хранилище и память при использовании настроек по умолчанию. Этот навык анализирует чтение и запись Parquet в Rust, а затем предлагает улучшения сжатия, размеров, проекции и фильтрации.

Поддерживает: Claude Codex Code(CC)
🥈 80 Серебро

Установить с помощью моего Агента

Скопируйте этот запрос в своего Агента. Он содержит каноническую страницу Skill и манифест.

Запрос агента
Review the Skillstore skill "parquet-optimization" from https://skillstore.io/skills/emillindfors-parquet-optimization.md and its manifest at https://skillstore.io/api/skills/emillindfors-parquet-optimization/manifest. Verify the artifact. You may proceed after verification, subject to the environment's own policy.

Ваш Агент по-прежнему должен показать план и запросить все подтверждения, требуемые политикой безопасности.

Ресурсы для AI-агентов

Используйте эти ссылки, когда AI-агенту, crawler или script нужен чистый контекст вместо полной страницы.

Протестировать

Использование «parquet-optimization». Писатель использует настройки Parquet по умолчанию и создает много мелких файлов.

Ожидаемый результат:

  • Проверка отмечает отсутствие сжатия, риск мелких файлов и отсутствие настройки размера групп строк.
  • Она рекомендует сбалансированный кодек сжатия, более крупные пакеты и стратегию компакции.

Использование «parquet-optimization». Читатель загружает все столбцы из широкой таблицы Parquet, а затем фильтрует строки в памяти.

Ожидаемый результат:

  • Проверка указывает на лишний ввод-вывод и нагрузку на память.
  • Она рекомендует проекцию столбцов, выбор групп строк с учетом предикатов и потоковую пакетную обработку.

Использование «parquet-optimization». Команда хранит ежедневные данные событий без партиционированных путей.

Ожидаемый результат:

  • Проверка выявляет ограниченное отсечение партиций и более медленные запросы с фильтрами по дате.
  • Она предлагает структуру на основе дат и проверку на репрезентативных шаблонах запросов.

Аудит безопасности

Безопасно

All static findings are false positives caused by Markdown backticks in SKILL.md. The file contains Rust Parquet optimization guidance and examples, with no evidence of command execution, exfiltration intent, or prompt injection.

1
Просканировано файлов
303
Проанализировано строк
0
Пункты проверки
0
Ложные срабатывания проигнорированы
Последний завершенный статический и семантический аудит не обнаружил подтвержденных проблем безопасности. Это не доказывает отсутствие побочных эффектов у навыка.
Поделиться и цитировать этот отчет

Делитесь версионным отчетом об оценке, нейтральным значком, встраиваемой карточкой и цитатами. Skillstore публикует доказательства, не решая, безопасен ли этот Skill.

Открыть версионный отчет
Оценка безопасности

Копировать ссылку на отчёт

https://skillstore.io/skills/emillindfors-parquet-optimization/audits/4?utm_source=security_passport&utm_medium=share&utm_campaign=versioned_report

Значок Markdown

[![Skillstore security assessment](https://skillstore.io/badges/skills/emillindfors-parquet-optimization/security.svg)](https://skillstore.io/skills/emillindfors-parquet-optimization?utm_source=security_passport_badge)

Значок HTML

<a href="https://skillstore.io/skills/emillindfors-parquet-optimization?utm_source=security_passport_badge"><img src="https://skillstore.io/badges/skills/emillindfors-parquet-optimization/security.svg" alt="Skillstore security assessment" loading="lazy"></a>

Встраиваемая карточка

<iframe src="https://skillstore.io/embed/skills/emillindfors-parquet-optimization.html" title="Skillstore Security Assessment" sandbox="allow-popups allow-popups-to-escape-sandbox" loading="lazy" referrerpolicy="no-referrer" width="420" height="180"></iframe>
Академические ссылки (APA · BibTeX · CFF)

Цитата APA

EmilLindfors. (2026). parquet-optimization security audit report (audit version 4) [Author version 1.0.0]. Skillstore. https://skillstore.io/skills/emillindfors-parquet-optimization/audits/4

Цитата BibTeX

@techreport{emillindfors-emillindfors-parquet-optimization-2026, author = {EmilLindfors}, title = {parquet-optimization security audit report (audit version 4)}, institution = {Skillstore}, year = {2026}, number = {4}, url = {https://skillstore.io/skills/emillindfors-parquet-optimization/audits/4}, note = {Author version 1.0.0} }

CITATION.cff

cff-version: 1.2.0 message: "If you use this Skill, cite its author and this versioned security audit report." title: "parquet-optimization security audit report (audit version 4)" version: "1.0.0" type: report authors: - name: "EmilLindfors" date-released: "2026-07-06" url: "https://skillstore.io/skills/emillindfors-parquet-optimization/audits/4" identifiers: - type: other value: "skillstore:emillindfors-parquet-optimization:audit:4" description: "Skillstore immutable audit report identifier"

Оценка Skillstore

Почему такая оценка Достоверность доказательств: Высокий
55
Архитектура
100
Сопровождаемость
87
Контент
69
Сообщество
83
Соответствие спецификации

Что вы можете построить

Настройка писателей для Data Lake

Проверяйте настройки записи Parquet перед развертыванием в production, чтобы снизить стоимость хранения и повысить производительность сканирования.

Повышение пропускной способности запросов

Находите отсутствующие шаблоны проекции, фильтрации, статистики и потоковой обработки в читателях, которые обрабатывают большие наборы данных Parquet.

Анализ регрессий конвейера

Сравнивайте недавние изменения кода Parquet с практическими проверками оптимизации после роста размера файлов или задержек.

Попробуйте эти промпты

Базовая проверка писателя
Проверь этот Rust-писатель Parquet на базовые настройки производительности. Сфокусируйся на сжатии, размере групп строк и статистике.
Проверка эффективности читателя
Проанализируй этот путь чтения Parquet. Определи улучшения для проекции, размера пакета, фильтрации групп строк и потоковой обработки.
Рекомендации по структуре Data Lake
Оцени структуру этого набора данных Parquet для облачной аналитики. Учитывай размер файлов, партиционирование, сжатие и отсечение запросов.
План production-оптимизации
Создай приоритизированный план оптимизации Parquet для этого Rust-конвейера. Включи ожидаемый эффект, компромиссы и метрики проверки.

Лучшие практики

  • Предоставляйте репрезентативные схемы, размеры файлов, шаблоны запросов и целевые хранилища перед запросом рекомендаций по оптимизации.
  • Проверяйте каждую рекомендацию с помощью данных бенчмарков из реальной рабочей нагрузки и движка запросов.
  • Приоритизируйте изменения, которые уменьшают объем сканируемых данных, нагрузку на память и накладные расходы запросов к облачному хранилищу.

Избегать

  • Не применяйте один уровень сжатия ко всем наборам данных без учета частоты доступа и затрат CPU.
  • Не создавайте множество крошечных файлов Parquet для больших аналитических наборов данных.
  • Не собирайте большие результаты чтения в память, когда потоковые пакеты могут безопасно их обработать.

Часто задаваемые вопросы

Редактирует ли этот навык файлы Parquet напрямую?
Нет. Он предоставляет рекомендации по проверке и предлагаемые изменения кода для путей чтения и записи Parquet.
На каких языках он сфокусирован?
Он сосредоточен на коде Rust, который использует Parquet, Apache Arrow и связанные библиотеки для инженерии данных.
Может ли он выбрать лучший кодек сжатия?
Он может рекомендовать вероятные варианты на основе шаблонов доступа, но данные бенчмарков должны подтвердить итоговую настройку.
Помогает ли он с облачным объектным хранилищем?
Да. Он включает рекомендации по размеру файлов, партиционированию, обработке повторных попыток и эффективности сканирования в облачном хранилище.
Может ли он диагностировать медленные запросы?
Он может выявлять распространенные причины проблем Parquet, такие как отсутствие проекции, слабое отсечение, мелкие файлы или отключенная статистика.
Полезен ли он для существующих production-конвейеров?
Да. Он может проверить текущие шаблоны и предложить приоритизированные изменения с ожидаемыми компромиссами производительности.

Сведения для разработчиков

Автор

EmilLindfors

Лицензия

MIT

Версия автора

v1.0.0

Ревизия Skillstore

r1

Ссылка

a06681402992ceae98ba04d54cfd4ab004862696

Актуальность поддержки

22.07.2026

Использование

5 загрузок · 161 просмотров

Структура файлов

📄 SKILL.md

Больше от EmilLindfors

Показать все
📦

let-chains-advisor

81

Упрощение потока управления Rust If-Let

Вложенное сопоставление с образцом может скрывать основной путь принятия решений в коде Rust. Этот навык помогает Claude, Codex и Claude Code предлагать цепочки let для более понятного потока управления Rust 2024.

Кодинг и разработка Просмотр
📦

mock-strategy-guide

81

Создание Rust-моков для тестов с помощью паттернов трейтов

Тесты Rust часто становятся медленными или хрупкими, когда зависят от баз данных, HTTP-сервисов или реальной инфраструктуры. Этот навык помогает Claude, Codex и Claude Code проектировать моки на основе трейтов, управляемые сбои и вспомогательные функции для фикстур.

Кодинг и разработка Просмотр
📦

lambda-optimization-advisor

80

Оптимизация функций AWS Lambda на Rust

Функции Lambda на Rust могут приводить к лишним затратам из-за медленного I/O, холодных стартов и неудачных настроек памяти. Этот навык проверяет обработчики и параметры развертывания, а затем предлагает конкретные улучшения производительности и стоимости.

DevOps и инфраструктура Просмотр
📦

port-adapter-designer

80

Проектирование границ портов и адаптеров в Rust

Внешние сервисы могут привносить инфраструктурные детали в доменный код. Этот навык помогает проектировать Rust traits и адаптеры, которые сохраняют зависимости изолированными и тестируемыми.

Кодинг и разработка Просмотр
📦

domain-layer-expert

80

Создавайте выразительные доменные модели на Rust

Слабый доменный слой разносит бизнес-правила по коду и делает валидацию непоследовательной. Этот навык помогает Claude, Codex и Claude Code проектировать выразительные доменные модели на Rust.

Кодинг и разработка Просмотр
Показать все
📦

spark-optimization

79

Оптимизация заданий Apache Spark

от wshobson

Медленные задания Spark впустую расходуют бюджет кластера и задерживают аналитическую работу. Этот навык дает практические шаблоны настройки для партиций, join, памяти, кэширования и поведения shuffle.

Данные и аналитика Просмотр
📦

senior-data-engineer

81

Создание производственных конвейеров данных

от alirezarezvani

Командам данных в production нужны надежные шаблоны для конвейеров, проверок качества и оркестрации. Этот навык помогает с архитектурой, созданием каркасов и практиками DataOps для современных стеков данных.

Данные и аналитика Просмотр
📦

supabase-postgres-best-practices

80

Оптимизация производительности Supabase Postgres

от supabase

Медленные запросы и расхождение схемы могут усложнять масштабирование приложений на Postgres. Этот навык дает AI-агентам правила для индексов, RLS, пулов соединений и диагностики с учетом Supabase.

Данные и аналитика Просмотр
📦

postgres-best-practices

80

Оптимизация запросов и схем Postgres

от sickn33

Медленные запросы и небезопасные паттерны работы с базой данных трудно заметить во время обычного ревью кода. Этот навык дает Claude, Codex и Claude Code структурированные рекомендации по Postgres для индексов, RLS, пулов соединений, транзакций и диагностики.

Данные и аналитика Просмотр
📦

postgresql-optimization

80

Оптимизация производительности PostgreSQL

от sickn33

Медленные системы PostgreSQL требуют структурированного анализа перед внесением изменений. Этот навык помогает с настройкой запросов, планированием индексов, проверкой конфигурации, обслуживанием и мониторингом.

Данные и аналитика Просмотр
📦

agentdb-vector-search-optimization

80

Оптимизация векторного поиска AgentDB

от DNYoussef

Большие векторные базы данных могут становиться медленными, требовательными к памяти и сложными для бенчмаркинга. Этот навык предоставляет структурированный рабочий процесс оптимизации AgentDB для квантования, индексации HNSW, кэширования и проверки.

Данные и аналитика Просмотр