pufferlib
Treinar agentes de aprendizado por reforço rapidamente
Auch verfügbar von: davila7
Treinar agentes de RL requer ambientes paralelos de alto desempenho e algoritmos eficientes. PufferLib fornece treinamento otimizado de PPO+LSTM com speedups de 2-10x através de vetorização, buffers de memória compartilhada e suporte multi-agente.
Die Skill-ZIP herunterladen
In Claude hochladen
Gehe zu Einstellungen → Fähigkeiten → Skills → Skill hochladen
Einschalten und loslegen
Teste es
Verwendung von "pufferlib". Train PPO on CartPole with pufferlib
Erwartetes Ergebnis:
- Environment: gym-CartPole-v1 com 256 envs paralelos
- Policy: MLP de 2 camadas (256 unidades ocultas) com layer_init
- Training: 10.000 iterações, batch size 32768
- Checkpoint: Salvo em checkpoints/checkpoint_1000.pt
- Throughput final: 1.2M passos/segundo em GPU
Verwendung von "pufferlib". Create multi-agent environment
Erwartetes Ergebnis:
- Configuração multi-agente: 4 agentes em tarefa de navegação cooperativa
- Espaço de observação: Dict com posição, meta e posições de outros agentes
- Espaço de ação: 5 ações discretas (4 direções + ficar)
- Policy backbone compartilhada para aprendizado eficiente
- Training com PuffeRL a 800K passos/segundo
Sicherheitsaudit
SicherAll 331 static findings are FALSE POSITIVES. This is a legitimate open-source reinforcement learning library. The static analyzer incorrectly flagged bash command examples in markdown documentation (SKILL.md, references/*.md) as dangerous backtick execution. No actual command injection, credential exfiltration, or malicious patterns exist in the codebase. Verified via grep - no hashlib, subprocess, or actual dangerous execution patterns found.
Risikofaktoren
Qualitätsbewertung
Was du bauen kannst
Benchmarking rápido
Benchmarks rápidos de novos algoritmos em ambientes Ocean com throughput de milhões de passos por segundo
Treinamento de ambientes de jogo
Treine agentes em Atari, Procgen ou NetHack com vetorização otimizada e PPO eficiente
Equipes de agentes cooperativos
Construa e treine sistemas multi-agente com integração PettingZoo e opções de política compartilhada
Probiere diese Prompts
Use pufferlib para treinar um agente PPO no ambiente procgen-coinrun com 256 envs paralelos. Mostre o loop de treinamento e como salvar checkpoints.
Ajude-me a criar um PufferEnv personalizado para uma tarefa de mundo de grade com 4 ações discretas. Mostre as definições de reset, step e espaço de observação.
Use pufferlib para treinar múltiplos agentes em um ambiente PettingZoo. Mostre como lidar com observações dict e políticas compartilhadas.
Otimize minha configuração de treinamento pufferlib para máximo throughput. Quais configurações de vetorização e hiperparâmetros devo usar para 4 GPUs?
Bewährte Verfahren
- Comece com ambientes Ocean ou integração Gymnasium antes de construir ambientes personalizados
- Perfil de passos por segundo cedo para identificar gargalos antes de escalar
- Use torch.compile e CUDA para máximo throughput de treinamento
Vermeiden
- Evite usar CPU para treinamento em larga escala - use GPU com VRAM suficiente
- Não pule a validação de ambiente antes de escalar para muitos envs paralelos
- Evite codificar hiperparâmetros - use argumentos de CLI para reprodutibilidade
Häufig gestellte Fragen
Quais ambientes o pufferlib suporta?
Quão rápido é o pufferlib comparado a implementações padrão?
Posso usar pufferlib com ambientes personalizados?
O pufferlib suporta treinamento multi-GPU?
Quais frameworks de logging se integram com pufferlib?
Como faço para salvar e retomar o treinamento?
Entwicklerdetails
Autor
K-Dense-AILizenz
MIT license
Repository
https://github.com/K-Dense-AI/claude-scientific-skills/tree/main/scientific-skills/pufferlibRef
main
Dateistruktur