GitHub - oobabooga/text-generation-webui: Een Gradio-webinterface voor grote taalmodellen. Ondersteunt transformaties en interactieve tekstgeneratie. Translation: GitHub - oobabooga/tekst-generatie-webinterface: Een Gradio-webgebruikersinterface voor grote taalmodellen. Behandelt transformaties en interactieve tekstproductie.

Oobabooga

Inleiding:

Een Gradio-webinterface voor grote taalmodellen. Ondersteunt transformers, GPTQ, AWQ, EXL2, llama.cpp (GGUF) en Llama-modellen. - oobabooga/tekstgeneratie-webinterface

AI Assistent Tools voor Ontwikkelaars LLM

Oobabooga Productinformatie

Wat is Oobabooga? ?

Een Gradio-webinterface voor grote taalmodellen. Ondersteunt transformators, GPTQ, AWQ, EXL2, llama.cpp (GGUF) en Llama-modellen.

Belangrijkste functies van Oobabooga

Meerdere modellen met achtergrond: Transformers, llama.cpp (via llama-cpp-python), ExLlamaV2, AutoGPTQ, AutoAWQ, GPTQ voor LLaMa, QuIP#.

Droplijstmenu om snel te schakelen tussen verschillende modellen.

Groot aantal extensies (ingebouwd en door gebruikers bijgedragen), waaronder Coqui TTS voor realistische stemuitvoeringen, Whisper STT voor spraakinvoer, vertaling, multimodale pijplijnen, vectordatabases, integratie van Stable Diffusion, en veel meer.

Klets met aangepaste karakters.

Accuraat chatvormen voor instructievolgende modellen, waaronder Llama-2-Chat, Alpaca, Vicuna, Mistral.

LoRa: traint nieuwe LORAs met uw eigen gegevens, laadt/Laat op LORAs ter plaatse voor generatie.

Transformer bibliotheek-integratie: laad modellen met 4- of 8-bits precisie via bitsandbytes, gebruik llama.cpp samen met Transformers-samplers (llamacpp_HF-lader), CPU-inferentie in 32-bits precisie met behulp van PyTorch.