>

人工智能助手

>

Oobabooga

Oobabooga

GitHub - oobabooga/text-generation-webui：一个Gradio网页用户界面，用于大型语言模型。支持转换和自定义文本生成。适合在线文本创作、对话系统和AI写作应用。

简介:

一个Gradio网络用户界面，专为大型语言模型设计。支持transformers、GPTQ、AWQ、EXL2、llama.cpp (GGUF) 和 llama 模型。 - Oobabooga/文本生成网络用户界面

人工智能助手开发者工具大型语言模型

Oobabooga 产品信息

什么是 Oobabooga ?

一个Gradio网络用户界面，专为大型语言模型设计。支持transformers、GPTQ、AWQ、EXL2、llama.cpp (GGUF) 和 Llama 模型。

Oobabooga 的核心功能

多个模型后端：Transformer、llama.cpp（通过llama-cpp-python）、ExLlamaV2、AutoGPTQ、AutoAWQ、GPTQ-for-LLaMa、QuIP#。

快速切换到不同模型的下拉菜单。

大量的扩展（内置和用户贡献的），包括Coqui TTS用于实现逼真的语音输出，Whisper STT用于语音输入、翻译、多模态管道、向量数据库、Stable Diffusion集成，以及更多功能。

与自定义角色聊天。

为指令跟随模型（包括Llama-2-Chat、Alpaca、Vicuna、Mistral）精准设计的聊天模板。

LoRa：使用自己的数据训练新的LoRa，根据需要动态加载或卸载LoRa进行生成。

Transformer库集成：通过bitsandbytes以4位或8位精度加载模型，使用llama.cpp与Transformers的采样器（llamacpp_HF加载器）配合。在CPU上以32位精度进行PyTorch推理。

兼容OpenAI的API服务器，提供Chat和Completions端点。

来自 Oobabooga 的常见问题解答