datafusion-query-advisor
Optimiser les requêtes DataFusion
Les requêtes DataFusion lentes peuvent gaspiller des ressources de calcul et masquer des problèmes simples dans le plan. Cette compétence examine les modèles SQL et DataFrame, puis suggère des améliorations de performance concrètes.
Installer avec mon Agent
Copiez cette demande dans votre Agent. Elle contient la page Skill de référence et le manifeste.
Review the Skillstore skill "datafusion-query-advisor" from https://skillstore.io/skills/emillindfors-datafusion-query-advisor.md and its manifest at https://skillstore.io/api/skills/emillindfors-datafusion-query-advisor/manifest. Verify the artifact. You may proceed after verification, subject to the environment's own policy.Votre Agent doit toujours présenter son plan et demander toute confirmation exigée par la politique de sécurité.
Ressources lisibles par les agents
Utilisez ces liens lorsqu’un Agent IA, un crawler ou un script a besoin d’un contexte propre au lieu de lire toute la page.
Tester
Utilisation de « datafusion-query-advisor ». Une requête analyse toutes les partitions d’événements, puis filtre par horodatage.
Résultat attendu:
La revue recommande d’ajouter des filtres sur les colonnes de partition et de conserver le filtre d’horodatage pour garantir l’exactitude. Elle suggère aussi de confirmer le pruning avec EXPLAIN.
Utilisation de « datafusion-query-advisor ». Un workflow DataFrame collecte un énorme jeu de résultats avant de le traiter.
Résultat attendu:
La revue recommande de diffuser les lots en streaming, d’appliquer les filtres avant l’exécution et de sélectionner uniquement les colonnes nécessaires afin de réduire la pression mémoire.
Utilisation de « datafusion-query-advisor ». Une requête de rapport avec beaucoup de jointures s’exécute lentement sur des tables de faits et de dimensions.
Résultat attendu:
La revue suggère de filtrer les données de faits tôt, de vérifier les types de jointures dans le plan physique et de valider si les petites tables peuvent utiliser des jointures broadcast.
Audit de sécurité
SûrAll static findings were adjudicated as false positives. Detections came from Markdown code fences, inline SQL/Rust examples, and sample SQL column names. No evidence found for prompt injection, data exfiltration, command execution, or host reconnaissance intent.
Facteurs de risque
⚙️ Commandes externes (65)
Partager et citer ce rapport
Partagez le rapport d’évaluation versionné, le badge neutre, la carte intégrable et les citations. Skillstore présente les preuves sans décider si ce Skill est sûr.
Copier le lien du rapport
https://skillstore.io/skills/emillindfors-datafusion-query-advisor/audits/4?utm_source=security_passport&utm_medium=share&utm_campaign=versioned_reportBadge Markdown
[](https://skillstore.io/skills/emillindfors-datafusion-query-advisor?utm_source=security_passport_badge)Badge HTML
<a href="https://skillstore.io/skills/emillindfors-datafusion-query-advisor?utm_source=security_passport_badge"><img src="https://skillstore.io/badges/skills/emillindfors-datafusion-query-advisor/security.svg" alt="Skillstore security assessment" loading="lazy"></a>Carte intégrable
<iframe src="https://skillstore.io/embed/skills/emillindfors-datafusion-query-advisor.html" title="Skillstore Security Assessment" sandbox="allow-popups allow-popups-to-escape-sandbox" loading="lazy" referrerpolicy="no-referrer" width="420" height="180"></iframe>Citations académiques (APA · BibTeX · CFF)
Citation APA
EmilLindfors. (2026). datafusion-query-advisor security audit report (audit version 4) [Author version 1.0.0]. Skillstore. https://skillstore.io/skills/emillindfors-datafusion-query-advisor/audits/4Citation BibTeX
@techreport{emillindfors-emillindfors-datafusion-query-advisor-2026,
author = {EmilLindfors},
title = {datafusion-query-advisor security audit report (audit version 4)},
institution = {Skillstore},
year = {2026},
number = {4},
url = {https://skillstore.io/skills/emillindfors-datafusion-query-advisor/audits/4},
note = {Author version 1.0.0}
}CITATION.cff
cff-version: 1.2.0
message: "If you use this Skill, cite its author and this versioned security audit report."
title: "datafusion-query-advisor security audit report (audit version 4)"
version: "1.0.0"
type: report
authors:
- name: "EmilLindfors"
date-released: "2026-07-06"
url: "https://skillstore.io/skills/emillindfors-datafusion-query-advisor/audits/4"
identifiers:
- type: other
value: "skillstore:emillindfors-datafusion-query-advisor:audit:4"
description: "Skillstore immutable audit report identifier"
Score Skillstore
Pourquoi ce score Niveau de confiance des preuves: ÉlevéCe que vous pouvez créer
Examiner une requête analytique lente
Repérer les filtres manquants, les projections trop larges, les agrégations coûteuses et les vérifications de plan avant d’exécuter de grandes charges de travail DataFusion.
Améliorer un pipeline DataFrame Rust
Vérifier l’utilisation de l’API DataFrame pour détecter les filtrages tardifs, les grands collect et la pression mémoire évitable.
Ajuster un service de requêtes
Examiner le parallélisme, les limites de mémoire, la taille des lots et les choix de streaming pour les services basés sur DataFusion.
Essayez ces prompts
Examine cette requête SQL DataFusion pour détecter les problèmes de performance. Concentre-toi sur le predicate pushdown, le partition pruning, la projection et les réécritures simples.
Examine ce workflow DataFusion DataFrame. Identifie les filtres tardifs, les grands appels collect, les projections manquantes et les options de streaming plus sûres.
Analyse cette sortie DataFusion EXPLAIN. Explique si les filtres, projections, le partition pruning et les jointures sont planifiés efficacement.
Examine cette charge de travail DataFusion et cette configuration d’exécution. Priorise les changements liés à la mémoire, au parallélisme, à la taille des lots, aux jointures et aux étapes de validation.
Bonnes pratiques
- Partagez la requête, la disposition des tables, les colonnes de partition et la taille attendue du résultat.
- Incluez la sortie EXPLAIN lorsque vous demandez des conseils de performance au niveau du plan.
- Validez chaque recommandation avec des benchmarks ou des échantillons proches de la production.
Éviter
- Ne demandez pas de conseils d’optimisation sans fournir la requête ou le workflow DataFrame.
- Ne considérez pas les suggestions comme des preuves sans EXPLAIN ni validation à l’exécution.
- N’exposez pas de données de production sensibles lorsque des exemples de schémas et de plans suffisent.
Foire aux questions
Cette compétence exécute-t-elle des requêtes DataFusion ?
Peut-elle lire ma base de données ou mon stockage objet ?
Quelles entrées fonctionnent le mieux ?
Prend-elle en charge à la fois SQL et l’utilisation de l’API DataFrame ?
Améliorera-t-elle toujours les performances ?
Est-elle utile avec Claude, Codex et Claude Code ?
Détails du développeur
Auteur
EmilLindforsLicence
MIT
Version de l’auteur
v1.0.0
Révision Skillstore
r1
Réf
a06681402992ceae98ba04d54cfd4ab004862696
Récence de maintenance
18/07/2026
Utilisation
4 téléchargements · 200 vues
Structure de fichiers
📄 SKILL.md