GitHub - oobabooga/text-generation-webui: Eine Gradio-Web-Oberfläche für große Sprachmodelle. Unterstützt die Übertragung von ... Translation: GitHub-Projekt - oobabooga/text-generation-webui: Eine Web-Oberfläche mit Gradio für große Sprachmodelle. Fähigkeit zur Übertragung integriert. Note: The HTML tags are not translated and remain as they are.

Oobabooga

Einführung:

Eine Gradio-Web-Oberfläche für große Sprachmodelle. Unterstützt Transformatoren, GPTQ, AWQ, EXL2, llama.cpp (GGUF), Lama-Modelle. -oobabooga/text-generation-webui

KI-Assistent Entwicklertools LLM

Oobabooga Produktinformationen

Was ist Oobabooga? ?

Eine Gradio-Web-Oberfläche für große Sprachmodelle. Unterstützt Transformers, GPTQ, AWQ, EXL2, llama.cpp (GGUF), sowie Llama-Modelle.

Kernfunktionen von Oobabooga

Mehrere Modell-Rückengänge: Transformer, llama.cpp (über llama-cpp-python), ExLlamaV2, AutoGPTQ, AutoAWQ, GPTQ-für-LLama, QuIP#.

Schnellwechsel-Menü für den einfachen Wechsel zwischen verschiedenen Modellen.

Große Anzahl von Erweiterungen (eingegebene und von Benutzern beigetragene), darunter Coqui TTS für realistische Sprachausgabe, Whisper STT für Spracheingabe, Übersetzung, multimodale Pipelines, Vektorbanken, Integration von Stable Diffusion, und vieles mehr.

Mit benutzerdefinierten Charakteren chatten.

Präzise Chat-Vorlagen für Anweisungsfolgermodellen, einschließlich Llama-2-Chat, Alpakke, Viscacha, Mistral.

LoRA: mit Ihren eigenen Daten neue LoRAs trainieren, LoRAs auf der Fly für Generierung laden/unladen.

Transformer-Bibliothek-Integration: Modelle mit 4- oder 8-Bit-Ausdehnung durch bitsandbytes laden, llama.cpp mit Transformer-Samplern (llamacpp_HF Loader) auf dem CPU in 32-Bit-Ausdehnung mit PyTorch inferieren.