GitHub - oobabooga/text-generation-webui: Büyük Diller Modeli için Gradio web uygulaması. Transfer Translation: GitHub'da - oobabooga/text-generation-webui: Büyük Diller Modeli için Gradio web kullanıcısı. Transfer learning destekler.

Oobabooga

Tanıtım:

Geniş Diller Modelleri için Gradio web kullanıcı arayüzü.变压器 (transformers), GPTQ, AWQ, EXL2, llama.cpp (GGUF), Llama modellerini destekler. - oobabooga/dil-oluşu-web-arayüzü

AI Asistanı Geliştirici araçları LLM

Oobabooga Ürün Bilgisi

Oobabooga nedir ?

Gradio web uygulaması, büyük dil modelleri için.变压器、GPTQ、AWQ、EXL2, llama.cpp (GGUF) ve llama modellerini destekler.

Oobabooga'nin Temel Özellikleri

Birden fazla model arka plandı: Transformer, llama.cpp (kroz llama-cpp-python), ExLlamaV2, AutoGPTQ, AutoAWQ, GPTQ-ile-LLaMa için, QuIP#.

Fazla modeller arasında hızlı切りişim için kullanılacak menü.drop-down menüsü, farklı modellere hızlı geçiş için kullanılır.

Birçok genişletme (buil-in ve kullanıcı katkıları)، gerçekçi ses çıkışlar için Coqui TTS, ses girdileri için Whisper STT, çevirme, çok modali piperline, vektör veritabanları, Stable Diffusion entegrasyonu ve daha fazlası dahil olmak üzere büyük bir sayda genişletme.

Özel karakterlerle sohbet yapın.

Öncelikli öğretme uyumlu modeller için belirli sohbet şablonları, bunlar arasında Llama-2-Chat, Alpakka, Vicuña ve Mistral bulunur.

LoRA: kendi verileriyle yeni LoRAs eğitin, isteğinize göre LoRAs'ları hemen yükleyin/sıkıştırın (unload) için kullanabilirsiniz. Bu metni Türkçeye çevirdim ve herhangi bir ekstra boşluk veya satır yeniden boyutlandırılmadı.

Transformer kit entegrasyonu: bitsandbytes aracılığıyla 4-бит veya 8-бит doğruluğu ile modelleri yükle, llama.cpp ile transformers'in sanal örnek türlerini kullanın (llamacpp_HF yükleyici), CPU üzerinde 32-bit doğruluğu ile PyTorch kullanarak tahmin yapın.