GitHub - oobabooga/text-generation-webui: Una interfaz de usuario web Gradio para grandes modelos de lenguaje. Soporta la transcripción y generación de texto en tiempo real, adaptándose a diferentes contextos y estilos lingüísticos. Nota: Las palabras clave "oobabooga" y posibles referencias a otras marcas o proyectos específicos se mantienen sin traducción.

Oobabooga

Introducción:

Una interfaz de usuario web Gradio para grandes modelos de lenguaje. Soporta transformadores, GPTQ, AWQ, EXL2, llama.cpp (GGUF), modelos llamas. - oobabooga/text-generation-webui

Asistente de IA Herramientas para desarrolladores LLM

Oobabooga Información del producto

¿Qué es Oobabooga? ?

Una interfaz de usuario web Gradio para grandes modelos de lenguaje. Soporta transformadores, GPTQ, AWQ, EXL2, llama.cpp (GGUF), modelos de llama.

Características principales de Oobabooga

Multiples algoritmos de respaldo: Transformadores, llama.cpp (mediante llama-cpp-python), ExLlamaV2, AutoGPTQ, AutoAWQ, GPTQ-para-LLaMa, QuIP#.

Menú desplegable para cambiar rápidamente entre diferentes modelos.

Una gran cantidad de extensiones (integradas y contribuidas por los usuarios), incluyendo Coqui TTS para Outputs de voz realistas, Whisper STT para Entradas vocales, traducción, tuberías multimodales, bases de datos vectoriales, integración de Stable Diffusion, y mucho más.

Charla con personajes personalizados.

Plantillas de chat precisas para modelos que siguen instrucciones, incluyendo Llama-2-Chat, Alpaca, Vicuña, Mistral.

LoRA: entrena nuevas instancias de LoRA con tus propios datos. Carga y descomprime instancias de LoRA en tiempo real para generar contenido.

Integración de la biblioteca Transformers: cargue modelos con precisión de 4 o 8 bits a través de bitsandbytes, utilice llama.cpp con los samplers de Transformers (cargador llamacpp_HF), inferencia en CPU con precisión de 32 bits utilizando PyTorch.