GitHub - oobabooga/text-generation-webui: Uma interface gráfica da web (Gradio) para grandes modelos de linguagem. Suporta a transferência de aprendizado e permite interações com os modelos em tempo real. Translation: "GitHub - oobabooga/text-generation-webui: A Gradio web UI for Large Language Models. Supports transfer learning and enables real-time interactions with the models."

Oobabooga

Introdução:

Uma interface da web Gradio para grandes modelos de linguagem. Suporta transformadores, GPTQ, AWQ, EXL2, llama.cpp (GGUF), modelos Llama. - oobabooga/geração-de-texto-webinterface

Assistente de IA Ferramentas para Desenvolvedores LLM

Oobabooga Informação do Produto

O que é Oobabooga? ?

Uma interface da web Gradio para grandes modelos de linguagem. Suporta transformadores, GPTQ, AWQ, EXL2, llama.cpp (GGUF), modelos Llama.

Recursos principais de Oobabooga

Multiplos motores de backend: Transformers, llama.cpp (através de llama-cpp-python), ExLlamaV2, AutoGPTQ, AutoAWQ, GPTQ-para-LLaMa, QuIP#.

Menu suspenso para rapidamente alternar entre diferentes modelos.

Um grande número de extensões (integradas e contribuídas pelos usuários), incluindo Coqui TTS para saídas de voz realistas, Whisper STT para entradas de voz, tradução, pipelines multimodais, bases de dados vetoriais, integração com Stable Diffusion, e muito mais.

Converse com personagens personalizados.

Modelos de chat precisos para modelos seguidores de instruções, incluindo Llama-2-Chat, Alpaca, Vicuna, Mistral.

LoRa: treine novas LoRAs com seus próprios dados, carregue/descarregue LoRAs em tempo real para geração.

Integração da biblioteca Transformers: carregue modelos com precisão de 4 ou 8 bits usando bitsandbytes, utilize llama.cpp juntamente com os samplers do Transformers (carregador llamacpp_HF), inferência em CPU com precisão de 32 bits usando PyTorch.