Проектирование надежных озер данных
Крупные озера данных могут становиться медленными, дорогими и сложными в управлении без четких архитектурных решений. Этот навык помогает с партиционированием, структурой хранения, эволюцией схемы, форматами таблиц, хранением данных и экономичным проектированием lakehouse.
Скопируйте этот запрос в своего Агента. Он содержит каноническую страницу Skill и манифест.
Review the Skillstore skill "data-lake-architect" from https://skillstore.io/skills/emillindfors-data-lake-architect.md and its manifest at https://skillstore.io/api/skills/emillindfors-data-lake-architect/manifest. Verify the artifact. You may proceed after verification, subject to the environment's own policy.Ваш Агент по-прежнему должен показать план и запросить все подтверждения, требуемые политикой безопасности.
Используйте эти ссылки, когда AI-агенту, crawler или script нужен чистый контекст вместо полной страницы.
Использование «data-lake-architect». We ingest 500 GB of events daily and query by date and event type.
Ожидаемый результат:
Сначала используйте дневные временные партиции, затем рассматривайте тип события только если кардинальность контролируема, а фильтры применяются последовательно. Ориентируйтесь на файлы от 100 MB до 1 GB и отслеживайте рост количества мелких файлов.
Использование «data-lake-architect». Our schema changes often and several services write to the same table.
Ожидаемый результат:
Предпочтите Iceberg, потому что он поддерживает эволюцию схемы, конкурентные записи, изоляцию снимков и эволюцию партиций. Заложите ресурсы на операции с метаданными и обучение эксплуатации.
Использование «data-lake-architect». Our data lake has many tiny files and slow queries.
Ожидаемый результат:
В первую очередь займитесь компакцией, увеличением размера пакетов записи и упрощением партиций. Проверьте, можно ли заменить почасовые партиции дневными без ущерба для распространенных запросов.
Static analysis flagged Markdown fences and data modeling terms as command execution or reconnaissance. Review of SKILL.md found read-only architecture guidance, no executable scripts, no prompt injection, and no data exfiltration intent.
Делитесь версионным отчетом об оценке, нейтральным значком, встраиваемой карточкой и цитатами. Skillstore публикует доказательства, не решая, безопасен ли этот Skill.
https://skillstore.io/skills/emillindfors-data-lake-architect/audits/4?utm_source=security_passport&utm_medium=share&utm_campaign=versioned_report[](https://skillstore.io/skills/emillindfors-data-lake-architect?utm_source=security_passport_badge)<a href="https://skillstore.io/skills/emillindfors-data-lake-architect?utm_source=security_passport_badge"><img src="https://skillstore.io/badges/skills/emillindfors-data-lake-architect/security.svg" alt="Skillstore security assessment" loading="lazy"></a><iframe src="https://skillstore.io/embed/skills/emillindfors-data-lake-architect.html" title="Skillstore Security Assessment" sandbox="allow-popups allow-popups-to-escape-sandbox" loading="lazy" referrerpolicy="no-referrer" width="420" height="180"></iframe>EmilLindfors. (2026). data-lake-architect security audit report (audit version 4) [Author version 1.0.0]. Skillstore. https://skillstore.io/skills/emillindfors-data-lake-architect/audits/4@techreport{emillindfors-emillindfors-data-lake-architect-2026,
author = {EmilLindfors},
title = {data-lake-architect security audit report (audit version 4)},
institution = {Skillstore},
year = {2026},
number = {4},
url = {https://skillstore.io/skills/emillindfors-data-lake-architect/audits/4},
note = {Author version 1.0.0}
}cff-version: 1.2.0
message: "If you use this Skill, cite its author and this versioned security audit report."
title: "data-lake-architect security audit report (audit version 4)"
version: "1.0.0"
type: report
authors:
- name: "EmilLindfors"
date-released: "2026-07-06"
url: "https://skillstore.io/skills/emillindfors-data-lake-architect/audits/4"
identifiers:
- type: other
value: "skillstore:emillindfors-data-lake-architect:audit:4"
description: "Skillstore immutable audit report identifier"
Спроектировать многоуровневую модель хранения, выбрать формат таблиц и подход к партиционированию до начала загрузки данных.
Проверить размеры файлов, гранулярность партиций, сжатие и дизайн метаданных, чтобы снизить задержку запросов.
Создать уровни хранения, выбрать варианты сжатия и практики компакции для снижения затрат на хранение и сканирование.
Проверь эту структуру озера данных и предложи улучшения для raw, processed и curated зон. Сначала спроси о недостающих деталях.
Помоги мне выбрать колонки партиционирования для таблицы с такими шаблонами запросов, дневным объемом и деталями кардинальности. Объясни компромиссы.
Сравни raw Parquet и Iceberg для моей нагрузки. Учитывай эволюцию схемы, конкурентных писателей, потребности в обновлениях, стоимость метаданных и операционные процессы команды.
Проведи аудит этой архитектуры lakehouse на масштабируемость, стоимость, хранение данных, компакцию, эволюцию схемы и производительность запросов. Верни приоритизированные рекомендации.
Автор
EmilLindforsЛицензия
MIT
Версия автора
v1.0.0
Ревизия Skillstore
r1
Ссылка
a06681402992ceae98ba04d54cfd4ab004862696
Актуальность поддержки
21.07.2026
Использование
4 загрузок · 146 просмотров
Структура файлов
📄 SKILL.md
Упрощение потока управления Rust If-Let
Вложенное сопоставление с образцом может скрывать основной путь принятия решений в коде Rust. Этот навык помогает Claude, Codex и Claude Code предлагать цепочки let для более понятного потока управления Rust 2024.
Улучшение покрытия Rust-тестами
Отсутствующие тесты оставляют пути ошибок и граничные случаи в Rust без защиты. Этот навык анализирует код и тесты, а затем предлагает точечные улучшения покрытия.
Создание Rust-моков для тестов с помощью паттернов трейтов
Тесты Rust часто становятся медленными или хрупкими, когда зависят от баз данных, HTTP-сервисов или реальной инфраструктуры. Этот навык помогает Claude, Codex и Claude Code проектировать моки на основе трейтов, управляемые сбои и вспомогательные функции для фикстур.
Оптимизация функций AWS Lambda на Rust
Функции Lambda на Rust могут приводить к лишним затратам из-за медленного I/O, холодных стартов и неудачных настроек памяти. Этот навык проверяет обработчики и параметры развертывания, а затем предлагает конкретные улучшения производительности и стоимости.
Проектирование границ портов и адаптеров в Rust
Внешние сервисы могут привносить инфраструктурные детали в доменный код. Этот навык помогает проектировать Rust traits и адаптеры, которые сохраняют зависимости изолированными и тестируемыми.
Создавайте выразительные доменные модели на Rust
Слабый доменный слой разносит бизнес-правила по коду и делает валидацию непоследовательной. Этот навык помогает Claude, Codex и Claude Code проектировать выразительные доменные модели на Rust.
Руководство по инженерным решениям CTO
от davila7
Инженерным руководителям нужны четкие фреймворки для архитектуры, метрик, найма и технического долга. Этот навык превращает вопросы планирования CTO в структурированные оценки, шаблоны и практические следующие шаги.
Визуализация архитектуры сервисов
от AstraBit-CPT
Распределенные сервисы трудно понять, когда метаданные разбросаны по репозиториям. Этот навык агрегирует метаданные каталога и создает диаграммы, таблицы и сводки для архитектурного ревью.
Создавайте fullstack-приложения с паттернами уровня senior
от davila7
Команды часто теряют время на согласование выбора стека, настройки проекта и проверок качества. Этот навык предоставляет Claude, Codex и Claude Code повторно используемые рекомендации и вспомогательные скрипты для fullstack-разработки.
Планирование архитектуры приложения Next.js App Router
от 89jobrien
Командам Next.js может быть сложно выбрать маршруты, компоненты, загрузку данных и шаги миграции. Этот skill дает структурированные архитектурные рекомендации по App Router, Server Components и производительности.
Создание записей архитектурных решений
от ArieGoldkin
Архитектурные решения трудно сохранять после смены команд. Этот skill предоставляет шаблоны, примеры и проверки для ревью, чтобы создавать понятные ADR.
Превращайте идеи в практичные проекты
от ArieGoldkin
Ранним продуктовым и техническим идеям часто не хватает четких ограничений, компромиссов и критериев успеха. Этот навык проводит Claude, Codex и Claude Code через вопросы, варианты и проверенные разделы дизайна.