computer-use-agents
Créez des agents IA qui contrôlent des ordinateurs
L'automatisation de bureau manuelle est répétitive et chronophage. Cette compétence vous apprend à créer des agents IA qui observent les écrans, raisonnent sur les tâches et exécutent des actions de manière autonome en utilisant des modèles d'utilisation d'ordinateur.
Télécharger le ZIP du skill
Importer dans Claude
Allez dans Paramètres → Capacités → Skills → Importer un skill
Activez et commencez à utiliser
Tester
Utilisation de "computer-use-agents". Montrez-moi comment capturer un screenshot dans un agent d'utilisation d'ordinateur
Résultat attendu:
L'exemple de code démontre la capture de screenshots en utilisant pyautogui.screenshot(), le redimensionnement à 1280x800 pour l'efficacité des tokens, l'encodage en base64, et le retour des données d'image à envoyer à un modèle de vision pour analyse.
Utilisation de "computer-use-agents". Comment exécuter un agent d'utilisation d'ordinateur en toute sécurité ?
Résultat attendu:
La compétence fournit une configuration Docker complète avec un utilisateur non-root, un système de fichiers en lecture seule, des limites de ressources (2 CPU, 4GB RAM), un réseau interne et des profils seccomp. L'agent s'exécute dans /tmp sans accès aux identifiants de l'hôte ou aux répertoires sensibles.
Audit de sécurité
SûrAll static analysis findings are false positives. This skill contains educational documentation and code examples for building computer-use agents. The detected patterns (external commands, filesystem access, screen capture) are legitimate code examples demonstrating automation tools like pyautogui and subprocess in Docker-sandboxed environments. The skill explicitly teaches security best practices including sandboxing, resource limits, and credential isolation. No malicious intent or executable code present.
Problèmes à risque faible (3)
Score de qualité
Ce que vous pouvez construire
Ingénieur QA Automatisant les Tests de Navigateur
Construisez un agent qui navigue dans des applications web, vérifie les éléments d'interface et capture des screenshots de bugs. L'agent clique à travers les flux utilisateur, vérifie le contenu attendu et signale automatiquement les régressions visuelles.
Automatisation de la Saisie de Données pour les Opérations Métier
Créez un agent qui transfère des données entre des applications de bureau héritées sans APIs. L'agent lit les informations depuis des tableurs, ouvre les applications cibles et saisit les données via des actions de clavier et de souris.
Assistant de Test d'Accessibilité
Développez un agent qui explore les pages web pour identifier les problèmes d'accessibilité. Il teste la navigation au clavier, la compatibilité avec les lecteurs d'écran et le contraste des couleurs en interagissant avec les pages comme le ferait un utilisateur humain.
Essayez ces prompts
Je veux créer un agent IA simple qui peut prendre des screenshots et cliquer sur des boutons. Montrez-moi un exemple Python minimal utilisant pyautogui et expliquez la boucle perception-raisonnement-action étape par étape.
Aidez-moi à créer un conteneur Docker sécurisé pour exécuter des agents d'utilisation d'ordinateur. J'ai besoin de Xvfb pour l'affichage virtuel, de VNC pour l'observation, et de limites de ressources appropriées. Générez un Dockerfile et un docker-compose.yml avec les meilleures pratiques de sécurité.
J'ai une clé API Anthropic. Montrez-moi comment implémenter un agent d'utilisation d'ordinateur complet en utilisant le SDK officiel Anthropic avec des outils bash et des capacités d'éditeur de texte. Incluez la gestion d'erreurs et des limites d'étapes.
Concevez un agent capable d'automatiser un flux de travail multi-étapes : ouvrir un navigateur, naviguer vers une URL, se connecter avec des identifiants provenant de variables d'environnement, télécharger un rapport et l'enregistrer dans un répertoire spécifique. Incluez la gestion de contexte pour suivre l'état à travers les étapes.
Bonnes pratiques
- Toujours exécuter les agents d'utilisation d'ordinateur dans des conteneurs Docker isolés avec des limites de ressources et sans accès aux identifiants de l'hôte
- Implémenter des limites d'étapes (maximum 50 itérations) et des timeouts pour prévenir les boucles d'agents incontrôlées
- Utiliser des raccourcis clavier au lieu des clics de souris quand c'est possible pour une automatisation plus fiable
Éviter
- Ne jamais exécuter d'agents d'utilisation d'ordinateur sur votre machine hôte avec accès aux vrais fichiers et identifiants
- Éviter les identifiants en dur - toujours utiliser des variables d'environnement ou des outils de gestion de secrets
- Ne pas sauter l'étape de sandboxing même pour les tests - les agents peuvent exécuter des actions non intentionnelles