transformers
Domine Hugging Face Transformers para Desenvolvimento de IA
Également disponible depuis: K-Dense-AI
Trabalhar com modelos transformer requer compreensão de pipelines, tokenização e fluxos de trabalho de fine-tuning. Esta skill fornece orientação abrangente para usar a biblioteca Hugging Face Transformers em tarefas de NLP, visão computacional e áudio com boas práticas e exemplos de código.
Télécharger le ZIP du skill
Importer dans Claude
Allez dans Paramètres → Capacités → Skills → Importer un skill
Activez et commencez à utiliser
Tester
Utilisation de "transformers". Mostre-me como carregar um modelo pré-treinado para análise de sentimento
Résultat attendu:
Posso ajudá-lo a carregar um modelo de análise de sentimento. Aqui está o código usando a API de pipeline:
from transformers import pipeline
classifier = pipeline("sentiment-analysis")
result = classifier("I love this product!")
Isso produzirá: [{'label': 'POSITIVE', 'score': 0.9998}]
O pipeline baixa e armazena em cache automaticamente o modelo padrão (distilbert-base-uncased-finetuned-sst-2-english) e lida com a tokenização para você.
Utilisation de "transformers". Ajude-me a fazer fine-tuning de um modelo no meu conjunto de dados personalizado
Résultat attendu:
Vou orientá-lo através do processo de fine-tuning:
1. Primeiro, prepare seu conjunto de dados usando a biblioteca datasets
2. Carregue o modelo pré-treinado e o tokenizer
3. Crie um data collator para agrupamento em lotes
4. Configure TrainingArguments com taxa de aprendizado, tamanho de lote e épocas
5. Inicialize o Trainer com seu modelo, conjuntos de dados e argumentos
6. Chame trainer.train() para iniciar o fine-tuning
Deixe-me mostrar o código completo com a estrutura do seu conjunto de dados.
Audit de sécurité
SûrThis skill contains only documentation and reference materials for the Hugging Face Transformers library. All static findings are false positives: backtick detections are markdown code blocks in documentation, eval references are PyTorch model.eval() method calls, and network references are documentation URLs. No executable code, command execution, or security risks present.
Score de qualité
Ce que vous pouvez construire
Classificação de Texto com Modelos Pré-treinados
Use a API de pipeline para classificar texto para análise de sentimento, detecção de spam ou categorização de tópicos sem escrever código de pré-processamento personalizado.
Fine-tuning de Modelos de Linguagem para Tarefas de Domínio
Adapte modelos pré-treinados para domínios especializados como texto médico ou jurídico fazendo fine-tuning em conjuntos de dados personalizados usando a API Trainer.
Construir IA Conversacional com Geração de Texto
Gere respostas de texto semelhantes às humanas usando modelos estilo GPT com controle sobre temperatura, parâmetros de amostragem top-k e top-p.
Essayez ces prompts
Mostre-me como carregar o modelo BERT base para classificação de texto e executar inferência em uma frase de exemplo
Ajude-me a gerar texto criativo usando GPT-2 com temperatura 0.8 e amostragem top-p de 0.9
Oriente-me no fine-tuning do DistilBERT no meu conjunto de dados CSV com rótulos de sentimento usando a API Trainer
Mostre-me como quantizar e otimizar um modelo transformer para inferência mais rápida com uso reduzido de memória
Bonnes pratiques
- Use classes AutoModel em vez de arquiteturas de modelo específicas para melhor compatibilidade
- Habilite device_map auto para gerenciamento automático de memória GPU com modelos grandes
- Armazene em cache modelos baixados localmente para evitar downloads repetidos durante o desenvolvimento
Éviter
- Carregar modelos sem especificar torch_dtype pode causar problemas de memória com modelos grandes
- Esquecer de chamar tokenizer com o parâmetro return_tensors leva a erros de tipo
- Usar a API de pipeline para processamento em lote sem o parâmetro batching é ineficiente