>

>

Oobabooga

Oobabooga

GitHub - oobabooga/text-generation-webui: 一個Gradio網頁介面，專為大型語言模型設計。支援轉移學習和多模態生成。使用者可以輕鬆地輸入文本、選擇不同的模型或設定，然後獲得由大模型生成的相關內容。此工具適用於研究、教學和創意用途。

簡介:

一個Gradio網頁介面，專為大型語言模型設計。支援轉換器、GPTQ、AWQ、EXL2、llama.cpp (GGUF) 和 Llama 模型。 - oobabooga/text-generation-webui

AI 助理開發者工具大型語言模型

Oobabooga 產品資訊

Oobabooga 是什麼 ?

一個Gradio網頁介面，專為大型語言模型設計。支援轉換器、GPTQ、AWQ、EXL2、llama.cpp (GGUF) 和 Llama 模型。

Oobabooga 的核心功能

多模型後端：Transformer、llama.cpp（通过llama-cpp-python）、ExLlamaV2、AutoGPTQ、AutoAWQ、GPTQ-for-LLaMa、QuIP#。

快速切換不同模型的下拉菜單。

大量的擴展（內建和用戶貢獻的），包括Coqui TTS以實現逼真的語音輸出，Whisper STT用於語音輸入、翻譯、多模態管道、向量數據庫、Stable Diffusion整合，以及更多功能。

與自定義角色聊天。

精確的對話模板，適用於跟隨指令的模型，包括Llama-2-Chat、Alpaca、Vicuna、Mistral。

LoRa：使用自己的數據訓練新的LoRAs，隨時載入/卸載LoRAs以進行生成。

Transformer圖書館整合：通過bitsandbytes以4位或8位精確度加載模型，使用transformers的sampler（llamacpp_HF加載器），在CPU上以32位精確度進行推理，使用PyTorch。

符合OpenAI规格的API伺服器，提供Chat和Completions端点。

來自 Oobabooga 的常見問題