技能 data-lake-architect

📦

data-lake-architect

Name: data-lake-architect
Author: EmilLindfors

v1.0.0 内容修订 r1 安全 ⚙️ 外部命令

设计可靠的数据湖

大型数据湖如果缺少清晰的架构选择，可能会变得缓慢、昂贵且难以治理。此技能可指导分区、存储布局、Schema 演进、表格式、保留策略以及具备成本意识的 Lakehouse 设计。

支持: Claude Codex Code(CC)

🥈 80 白银

使用我的智能体安装

将此请求复制给你的智能体，其中包含权威 Skill 页面和清单。

智能体请求

Review the Skillstore skill "data-lake-architect" from https://skillstore.io/skills/emillindfors-data-lake-architect.md and its manifest at https://skillstore.io/api/skills/emillindfors-data-lake-architect/manifest. Verify the artifact. You may proceed after verification, subject to the environment's own policy.

你的智能体仍应展示其计划，并按安全策略请求必要确认。

Agent 可读资源

当 AI Agent、爬虫或脚本需要干净上下文，而不是读取完整页面时，请使用这些链接。

Markdown 详情 GET /skills/emillindfors-data-lake-architect.md 已签名 manifest GET /api/skills/emillindfors-data-lake-architect/manifest 已签名 lockfile GET /api/skills/emillindfors-data-lake-architect/lockfile

测试它

正在使用“data-lake-architect”。我们每天摄取 500 GB 的事件数据，并按日期和事件类型查询。

预期结果:

先使用按天的时间分区，然后只有在基数受控且过滤条件一致时，才考虑事件类型。目标文件大小为 100 MB 到 1 GB，并监控小文件增长。

正在使用“data-lake-architect”。我们的 Schema 经常变化，并且多个服务会写入同一张表。

预期结果:

优先选择 Iceberg，因为它支持 Schema 演进、并发写入、快照隔离和分区演进。需要为元数据操作和运维学习预留预算。

正在使用“data-lake-architect”。我们的数据湖有很多小文件，查询很慢。

预期结果:

优先处理压缩整理、更大的写入批次和分区简化。检查是否可以将小时分区改为天分区，同时不影响常见查询。

安全审计

安全

v4 • 2026/7/6 打开版本化报告

Static analysis flagged Markdown fences and data modeling terms as command execution or reconnaissance. Review of SKILL.md found read-only architecture guidance, no executable scripts, no prompt injection, and no data exfiltration intent.

已扫描文件

551

分析行数

复核项

已忽略误报

最新一次完成的静态与语义审计未检测到已确认的安全发现。这并不能证明该 Skill 没有副作用。

审计者: codex 查看审计历史 →

分享与引用此报告

分享版本化评估报告、中性徽章、嵌入卡片和引用。Skillstore 只报告证据，不判断该 Skill 是否安全。

打开版本化报告

复制报告链接

https://skillstore.io/skills/emillindfors-data-lake-architect/audits/4?utm_source=security_passport&utm_medium=share&utm_campaign=versioned_report

Markdown 徽章

[![Skillstore security assessment](https://skillstore.io/badges/skills/emillindfors-data-lake-architect/security.svg)](https://skillstore.io/skills/emillindfors-data-lake-architect?utm_source=security_passport_badge)

HTML 徽章

<a href="https://skillstore.io/skills/emillindfors-data-lake-architect?utm_source=security_passport_badge"><img src="https://skillstore.io/badges/skills/emillindfors-data-lake-architect/security.svg" alt="Skillstore security assessment" loading="lazy"></a>

嵌入卡片

<iframe src="https://skillstore.io/embed/skills/emillindfors-data-lake-architect.html" title="Skillstore Security Assessment" sandbox="allow-popups allow-popups-to-escape-sandbox" loading="lazy" referrerpolicy="no-referrer" width="420" height="180"></iframe>

学术引用 (APA · BibTeX · CFF)

APA 引用

EmilLindfors. (2026). data-lake-architect security audit report (audit version 4) [Author version 1.0.0]. Skillstore. https://skillstore.io/skills/emillindfors-data-lake-architect/audits/4

BibTeX 引用

@techreport{emillindfors-emillindfors-data-lake-architect-2026,
  author = {EmilLindfors},
  title = {data-lake-architect security audit report (audit version 4)},
  institution = {Skillstore},
  year = {2026},
  number = {4},
  url = {https://skillstore.io/skills/emillindfors-data-lake-architect/audits/4},
  note = {Author version 1.0.0}
}

CITATION.cff

cff-version: 1.2.0
message: "If you use this Skill, cite its author and this versioned security audit report."
title: "data-lake-architect security audit report (audit version 4)"
version: "1.0.0"
type: report
authors:
  - name: "EmilLindfors"
date-released: "2026-07-06"
url: "https://skillstore.io/skills/emillindfors-data-lake-architect/audits/4"
identifiers:
  - type: other
    value: "skillstore:emillindfors-data-lake-architect:audit:4"
    description: "Skillstore immutable audit report identifier"

Skillstore 评分

评分依据证据置信度: 高

架构

100

可维护性

内容

社区

规范符合性

你能构建什么

规划新的 Lakehouse

在开始摄取数据之前，设计分层存储模型、表格式选择和分区方案。

修复缓慢的分析查询

审查文件大小、分区粒度、压缩方式和元数据设计，以降低查询延迟。

控制数据湖成本

创建保留层级、压缩选择和压缩整理实践，以降低存储和扫描成本。

试试这些提示

审查我的布局

审查这个数据湖布局，并针对原始、已处理和精选区域提出改进建议。请先询问任何缺失的细节。

选择分区

根据这些查询模式、每日数据量和基数细节，帮助我为一张表选择分区列。请解释其中的权衡。

选择表格式

为我的工作负载比较原始 Parquet 和 Iceberg。请考虑 Schema 演进、并发写入、更新需求、元数据成本和团队运维。

审计 Lakehouse 架构

审计这个 Lakehouse 架构在可扩展性、成本、保留策略、压缩整理、Schema 演进和查询性能方面的表现。返回按优先级排序的建议。

最佳实践

在选择分区之前，先从查询模式、数据量和保留需求入手。
保持原始数据不可变，以便在逻辑变化时管道可以重新处理历史数据。
将文件大小、压缩方式和压缩整理目标作为运维要求。

避免

不要按高基数字段分区，除非存在清晰的分桶策略。
不要在同一存储区域混合原始源数据和精选业务表。
不要仅仅为了跟随趋势而选择 Iceberg，却没有相应的运维负责人。

常见问题

这个技能可以设计完整的 Lakehouse 架构吗？

可以。它可以根据你的需求提出存储区域、表格式、分区、保留层级和性能实践建议。

它是否同时支持 Parquet 和 Iceberg 指导？

可以。它会解释什么时候原始 Parquet 已经足够，以及什么时候 Iceberg 能提供更好的运维行为。

它可以优化现有数据湖吗？

可以。请分享当前布局、表大小、查询模式和痛点，以便进行有针对性的审查。

它会执行命令或更改数据吗？

不可以。该技能提供架构指导，并使用只读分析工具。

我应该提供哪些信息？

请提供每日数据量、查询过滤条件、延迟目标、Schema 变更频率、保留规则和存储平台。

这是否只适用于 Rust 数据工程？

不是。它会引用 Rust 示例，但架构指导适用于通用云数据湖。

开发者详情

作者

EmilLindfors

许可证

MIT

作者版本

v1.0.0

Skillstore 修订

仓库

https://github.com/EmilLindfors/claude-marketplace/tree/main/plugins/rust-data-engineering/skills/data-lake-architect

引用

a06681402992ceae98ba04d54cfd4ab004862696

维护新鲜度

2026/7/18

使用量

4 次下载 · 146 次浏览

文件结构

📄 SKILL.md

EmilLindfors 的更多技能

查看全部

📦

let-chains-advisor

简化 Rust If-Let 控制流

嵌套的模式匹配可能会隐藏 Rust 代码中的主要决策路径。此 skill 可帮助 Claude、Codex 和 Claude Code 建议使用 let chains，从而实现更清晰的 Rust 2024 控制流。

编码与开发查看

📦

test-coverage-advisor

改进 Rust 测试覆盖率

缺失测试会让 Rust 的错误路径和边界情况缺乏保护。此技能会审查代码和测试，然后建议有针对性的覆盖率改进。

编码与开发查看

📦

mock-strategy-guide

使用 trait 模式构建 Rust 测试 Mock

当 Rust 测试依赖数据库、HTTP 服务或真实基础设施时，往往会变慢或变得脆弱。此技能帮助 Claude、Codex 和 Claude Code 设计基于 trait 的 mock、可控失败以及 fixture 辅助函数。

编码与开发查看

📦

lambda-optimization-advisor

优化 Rust AWS Lambda 函数

Rust Lambda 函数可能会因缓慢的 I/O、冷启动和不合理的内存设置而浪费成本。此技能会审查处理程序和部署设置，然后提出具体的性能与成本改进建议。

DevOps 与基础设施查看

📦

property-testing-guide

使用 Proptest 设计 Rust 属性测试

基于属性的测试有时难以应用，因为有用的属性和生成器并不总是显而易见。此技能可帮助 Claude、Codex 或 Claude Code 为 Rust 代码提出有针对性的 proptest 策略。

编码与开发查看

📦

port-adapter-designer

设计 Rust 端口和适配器边界

外部服务可能会将基础设施关注点泄漏到领域代码中。此技能帮助设计 Rust trait 和适配器，使依赖保持隔离且易于测试。

编码与开发查看

查看全部

📦

nestjs-code-audit

Audit NestJS Code with Evidence-Backed Findings

由 amirtaherkhani

NestJS repositories can hide boundary flaws and runtime risks that lint results alone cannot reveal. This skill combines local evidence collection and semantic review into one prioritized report.

编码与开发查看

📦