GitHub - oobabooga/text-generation-webui: Un'interfaccia utente web Gradio per grandi modelli linguistici. Supporta il trasferimento Translation: GitHub - oobabooga/text-generation-webui: Gradio UI web per grandi modelli di linguaggio. Condivide il trasferimento

Oobabooga

Introduzione:

Una interfaccia utente web Gradio per grandi modelli linguistici. Supporta trasformatori, GPTQ, AWQ, EXL2, llama.cpp (GGUF), e modelli llama. - oobabooga/text-generation-webui

Assistente IA Strumenti per sviluppatori LLM

Oobabooga Informazioni sul prodotto

Cos'è Oobabooga? ?

Una interfaccia utente web Gradio per grandi modelli linguistici. Supporta trasformatori, GPTQ, AWQ, EXL2, llama.cpp (GGUF), e modelli llama.

Funzionalità principali di Oobabooga

Molti modelli di retro-alta: Transformer, llama.cpp (attraverso llama-cpp-python), ExLlamaV2, AutoGPTQ, AutoAWQ, GPTQ per LLaMa, QuIP#.

Menu a tendina per rapidamente passare tra diversi modelli.

Un gran numero di estensioni (incorporate e contribuite dagli utenti), tra cui Coqui TTS per output vocal realistico, Whisper STT per input vocale, traduzione, pipeline multimodali, basi dati vettoriali, integrazione di Stable Diffusion, e molto altro ancora.

Conversazione con personaggi personalizzati.

模版 precisi per i modelli orientati agli ordini, tra cui Llama-2-Chat, Alpaca, Vicuna, Mistral.

LoRA: addestra nuove LoRAs con i tuoi dati, carica/scarica LoRAs in tempo reale per generazione.

Integrazione della libreria Transformers: carica i modelli con precisione a 4 o 8 bit tramite bitsandbytes, utilizza llama.cpp insieme ai campionatori di Transformers (caricatore llamacpp_HF), inferenza su CPU in precisione a 32 bit utilizzando PyTorch.