GitHub - oobabooga/text-generation-webui: Sebuah antarmuka web Gradio untuk model bahasa besar. MengSupport transf Translation: GitHub - oobabooga/text-generation-webui: Aplikasi antarmuka web Gradio untuk model bahasa besar. Menyediakan transfer

Oobabooga

Pengenalan:

Sebuah antarmuka web Gradio untuk model bahasa besar. Meng涵盖了transformers, GPTQ, AWQ, EXL2, llama.cpp (GGUF), serta model llama. - oleh oobabooga/web-ui-penghasilan-teks

Asisten AI Alat Pengembang LLM

Oobabooga Informasi Produk

Apa itu Oobabooga ?

Sebuah antarmuka web Gradio untuk model bahasa besar. Meng涵盖了transformers, GPTQ, AWQ, EXL2, llama.cpp (GGUF) serta model Llama.

Fitur Utama Oobabooga

Beberapa backend model beragam: Transformer, llama.cpp (melalui llama-cpp-python), ExLlamaV2, AutoGPTQ, AutoAWQ, GPTQ untuk LLaMa, QuIP#.

Menu drop-down untuk memilih dengan cepat antara model yang berbeda.

Banyak ekstensi (bawaan dan kontribusi pengguna), termasuk Coqui TTS untuk output suara yang realistis, Whisper STT untuk masukan suara, terjemahan, pipa multi-modal, basis data vektor, integrasi Stable Diffusion, dan banyak lagi.

Bicara dengan karakter-karakter khusus.

Contoh obrolan yang tepat untuk model mengikuti instruksi, termasuk Llama-2-Chat, Alpaca, Vicuna, dan Mistral.

LoRA: pelatihan LoRAs baru dengan data Anda sendiri, memuat/mengosongkan LoRAs secara instan untuk generasi.

Perangkat lunak Transformers library integrasi: muat model dalam presisi 4-bit atau 8-bit melalui bitsandbytes, gunakan llama.cpp dengan Transformers samplers (loader llamacpp_HF), inferensi CPU dalam presisi 32-bit menggunakan PyTorch.