GitHub - oobabooga/text-generation-webui: Interfejs web Gradio dla dużych modeli językowych. Obsługuje przekształcenia i generowanie tekstu. Translation: GitHub - oobabooga/text-generation-webui: Web UI dla dużych modeli językowych w Gradio. obsługuje transformacje i tworzenie tekstu.

Oobabooga

Wprowadzenie:

A interfejs web Gradio dla dużych modeli językowych. Obsługuje transformery, GPTQ, AWQ, EXL2, llama.cpp (GGUF) oraz modele llama. - oobabooga/text-creation-web-ui

Asystent AI Narzędzia dla programistów LLM

Oobabooga Informacje o produkcie

Czym jest Oobabooga? ?

A interfejs web Gradio dla dużych modeli językowych. Obsługuje transformery, GPTQ, AWQ, EXL2, llama.cpp (GGUF) oraz modele llama.

Kluczowe funkcje Oobabooga

Wieloodelowy system baz danych: Transformatory, llama.cpp (przez llama-cpp-python), ExLlamaV2, AutoGPTQ, AutoAWQ, GPTQ dla LLaMa, QuIP#.

Pasek rozwijający do szybkiego przełączania się między różnymi modelami.

Wielu rozszerzeń (z wbudowanymi i użytkownikowo dostosowanymi), w tym Coqui TTS dla realistycznych dźwięków wyjściowych, Whisper STT dla wejść głosowych, tłumaczeń, multimodowych pipeline'ów, baz danych wektorowych, integracja Stable Diffusion, a wiele innych.

Rozmawiaj z wybranymi postacjami.

精确的聊天模板，适用于指令跟随模型，包括Llama-2-Chat、Alpaca、Vicuna、Mistral。

LoRa: szkolenie nowych LORAs za pomocą własnych danych, ładowanie/wyładowywanie LORAs w czasie rzeczywistym dla generowania.

Integracja z biblioteką Transformers: załadowuj modele w precyzji 4-битowej lub 8-битowej za pomocą bitsandbytes, użyj llama.cpp z transformerowymi próbkami (loader llama.cpp_ HF), CPU inference w precyzji 32-битowej za pomocą PyTorch.