GitHub - oobabooga/text-generation-webui : Une interface utilisateur web Gradio pour de grands modèles linguistiques. Supporte les transferts d'apprentissage et propose des fonctionnalités d'éditeur de texte interactif.

Oobabooga

Introduction:

Une interface utilisateur Web Gradio pour de grands modèles linguistiques. Prise en charge des transformateurs, GPTQ, AWQ, EXL2, llama.cpp (GGUF) et les modèles llama. - oobabooga/génération-de-texte-webui

Assistant IA Outils de développement LLM

Oobabooga Information sur le produit

Qu'est-ce que Oobabooga ? ?

Une interface utilisateur Web Gradio pour de grands modèles linguistiques. Prise en charge des transformers, GPTQ, AWQ, EXL2, llama.cpp (GGUF), ainsi que les modèles llama.

Fonctionnalités principales de Oobabooga

Multiples back-end de modèles : Transformers, llama.cpp (par le biais de llama-cpp-python), ExLlamaV2, AutoGPTQ, AutoAWQ, GPTQ pour LLaMa, QuIP#.

Menu déroulant rapide pour passer d'un modèle à un autre.

Un grand nombre d'extensions (intégrées par défaut et contribuées par les utilisateurs), y compris Coqui TTS pour des sorties vocales réaliste, Whisper STT pour les entrées vocales, la traduction, les pipelines multimodaux, les bases de données vectorielles, l'intégration Stable Diffusion, et bien plus encore.

Parlez avec des personnages personnalisés.

Des modèles de discussion précis pour les modèles obéissant aux instructions, y compris Llama-2-Chat, Alpaca, Vicuna, Mistral.

LoRa : entraînez de nouvelles Loras avec vos propres données, chargez/déchargez des Loras en temps réel pour la génération.

Intégration de la bibliothèque Transformers : chargez les modèles avec une précision de 4-ou 8-bits à l'aide de bitsandbytes, utilisez llama.cpp avec les échantillonneurs Transformers (chargeur llamacpp_HF), inference CPU en précision de 32-bits utilisant PyTorch.