处理超过内存容量的大型数据集会导致内存错误和性能缓慢。Vaex 使用惰性求值和内存映射技术,无需将数据加载到内存中即可即时处理数十亿行数据。

高维数据难以可视化和分析。UMAP 提供快速非线性降维，同时保留局部和全局结构，适用于清晰的 2D/3D 可视化和有效的聚类预处理。

使用 transformer 模型需要理解管道、分词和微调工作流程。本技能为使用 Hugging Face Transformers 库处理自然语言处理、计算机视觉和音频任务提供全面指导,包含最佳实践和代码示例。

图神经网络能够从社交网络和分子等不规则数据结构中进行学习。PyTorch Geometric 提供了一个全面的工具包，可以用最少的样板代码构建、训练和评估图神经网络。

访问STRING数据库的蛋白质-蛋白质相互作用网络，覆盖5900万种蛋白质和200亿个相互作用。执行功能富集分析，发现相互作用伙伴，并为系统生物学研究生成网络可视化。

用户需要使用严格的统计方法分析数据。此技能为回归模型、假设检验、时间序列分析和诊断程序提供全面指导。

机器学习模型通常作为黑盒工作。SHAP提供了一个统一的框架来理解哪些特征驱动预测以及每个特征的贡献程度。本技能帮助您计算特征重要性、生成可视化、调试模型并在项目中实施可解释AI。

构建和部署机器学习系统到生产环境需要深厚的MLOps、模型监控和可扩展基础设施专业知识。本技能提供世界级的生产化机器学习模型指导、RAG系统实现以及将LLM集成到生产工作流中。

运用专家级数据科学技术设计实验、构建预测模型并推动数据驱动决策。该技能提供生产级统计特征工程和模型评估框架。

以高级专业水平设计和实现生产级数据管道。使用 Python、SQL、Spark 和现代数据栈工具,将原始数据转化为可靠、可扩展的分析基础设施。

计算机视觉项目需要在架构、优化和部署方面的深厚专业知识。此技能为构建目标检测、分割和实时视觉系统提供高级指导和生产最佳实践。

Seaborn 用最少的代码提供复杂的统计可视化。此技能帮助您为探索性数据分析和演示创建可用于发表的图表。

事件时间分析需要专门的方法来处理删失数据。本技能提供完整的指导，包括拟合 Cox 模型、随机生存森林和生存 SVM，同时使用一致性指数和 Brier 评分正确评估预测结果。

通过 scikit-learn 指导快速构建机器学习模型。涵盖分类、回归、聚类、预处理、管道和模型评估，提供可直接使用的示例。

单细胞 RNA 测序分析需要复杂的工作流程来进行质量控制、聚类和可视化。此技能提供完整的 scanpy 工作流程,包括 UMAP 生成、Leiden 聚类、标记基因识别和细胞类型注释。

本技能提供使用PyMC进行贝叶斯统计建模的工具���它支持构建层次模型、使用NUTS进行MCMC采样、执行变分推理，以及使用LOO/WAIC指标比较模型，以进行原则性的不确定性量化。

Pandas 工作流在大数据集上运行缓慢且内存消耗大。本技能提供关于 Polars 的专家指导，Polars 是一个基于 Apache Arrow 构建的极速 DataFrame 库，通过惰性求值、并行处理和直观的表达式 API 提供 10-100 倍性能提升。

创建图表和数据可视化非常耗时。Plotly 提供了一个 Python 库，支持 40 多种图表类型，包括散点图、热力图、3D 图表和地理地图。生成可直接发布的高质量交互式可视化，并导出为 HTML 或静态图像。

手动处理PDF文档太耗时。本工具包提供生产就绪的脚本，用于提取文本、处理表单、提取表格，并对扫描文档执行OCR，支持批处理。

PDF 文档包含有价值的数据,但难以通过编程方式处理。此技能提供使用 Python 库(如 pdfplumber 和 pypdf)从 PDF 中提取文本、表格和表单数据的代码模式。