Bai.toolsBAI.tools logo
ホーム
>
AIアシスタント
>
Oobabooga

Oobabooga

サイトを開く
GitHub - oobabooga/text-generation-webui: 大規模言語モデルのGradio Web UI。トランスフォーミューションをサポートしています。 (Translation: GitHub上的oobabooga/text-generation-webui：一个用于大型语言模型的Gradio Web界面。支持转换。)
はじめに:
グライドのウェブUI для大型言語モデル。トランズフォーマー、GPTQ、AWQ、EXL2、llama.cpp (GGUF)、ラマモデルをサポートしています。 - oobabooga/テキスト生成WebUI
Oobabooga
Oobabooga 製品情報

Oobabooga とは何ですか? ?

グライドウェブUIのためのLarge Language Model。トランズフォーマー、GPTQ、AWQ、EXL2、llama.cpp (GGUF)、ラマモデルをサポートしています。

Oobabooga の主な機能

複数のモデルバックエンド：トランスフォーマー、llama.cpp (通過llama-cpp-python)、ExLlamaV2、AutoGPTQ、AutoAWQ、GPTQ-for-LLaMa、QuIP#。

異なるモデル間を迅速に切り替えるためのドロップダウンメニュー。

多くの拡張子（内蔵とユーザーからの貢献）が含まれます。其中包括、リアルな音声出力を可能にするCoqui TTS、音声入力や翻訳などに役立つWhisper STT、マルチモーダルパイプライン、ベクトルデータベース、Stable Diffusionの統合など。さらに多くの機能が含まれています。

カスタムキャラクターとチャットします。

正確なチャットテンプレートが、指図に従うモデルであるウサギ-2-チャット、アルパカ、ビクナ、ミストラルを含むものです。

ロラ: 自分のデータで新しいロラを学習し、生成時に即座にロラを読み書きします。

トランスフォーマーのライブラリ統合：bitsandbytes経由で、4ビットまたは8ビットの精度でモデルを読み込む。transformersのsamplers（llamacpp_HF loader）を使用し、CPU上で32ビットの精度での推論を行うためにPyTorchを使用してください。

オープンAI互換のAPIサーバーで、チャットとコンプリートエンドポイントを提供しています。

Oobabooga からの FAQ