GitHub - oobabooga/text-generation-webui: Một giao diện người dùng web Gradio cho Mô hình ngôn ngữ lớn. Hỗ trợ chuyển giao (transfer) và tạo nội dung mới. Translation: GitHub - oobabooga/text-generation-webui: Gradio UI trực tuyến cho mô hình ngôn ngữ lớn. Hỗ trợ chuyển giao và tạo nội dung mới.

Oobabooga

Giới thiệu:

Một giao diện người dùng web Gradio cho các mô hình ngôn ngữ lớn. Hỗ trợ các biến đổi, GPTQ, AWQ, EXL2, llama.cpp (GGUF), và mô hình Llama. - oobabooga/generation-web-ui-đa-nghị

Trợ lý AI Công cụ Nhà phát triển LLM

Oobabooga Thông tin Sản phẩm

Oobabooga là gì ?

Một giao diện người dùng web Gradio cho mô hình ngôn ngữ lớn. Hỗ trợ chuyển đổi, GPTQ, AWQ, EXL2, llama.cpp (GGUF), cũng như các mô hình llama.

Các Tính năng Cốt lõi của Oobabooga

Hệ thống đa mô hình về hậu cần: Transformers, llama.cpp (qua llama-cpp-python), ExLlamaV2, AutoGPTQ, AutoAWQ, GPTQ-cho-LLaMa, QuIP#.

Menu Dropdown cho việc chuyển đổi nhanh giữa các mô hình khác nhau.

Huge số lượng mở rộng (bổ sung sẵn và đóng góp từ người dùng), bao gồm Coqui TTS cho âm thanh chân thực, Whisper STT cho đầu vào âm thanh, dịch thuật, đa mô đun, dòng công việc đa phương tiện, cơ sở dữ liệu vector, tích hợp Stable Diffusion, và nhiều hơn nữa.

Hàng trò chuyện với nhân vật tùy chỉnh.

Cấu hình trò chuyện chính xác cho mô hình tuân thủ hướng dẫn, bao gồm Llama-2-Chat, Alpaca, Vicuna, Mistral.

LoRa: đào tạo LoRAs mới với dữ liệu riêng của bạn, tải/dừng tải LoRAs trong quá trình tạo ra chúng.

Phân tích thư viện Transformers: tải mô hình với độ chính xác 4-bit hoặc 8-bit thông qua bitsandbytes, sử dụng llama.cpp với bộ sưu tập Transformers (loader llamacpp_HF), thực hiện dự đoán trên CPU với độ chính xác 32-bit bằng PyTorch.