GitHub - oobabooga/text-generation-webui: 대형 언어 모델을 위한 Gradio 웹 UI. 전송 및 변환 기능 지원.
이 문장은 영어로 주어졌으며, 이를 한국어로 번역하였습니다. 주어진 URL, Gradio, Web UI 등의 특정 브랜드나 기술 용어는 원문 그대로 유지하였습니다.
소개:
대형 언어 모델을 위한 Gradio 웹 UI. 변환자, GPTQ, AWQ, EXL2, llama.cpp (GGUF), 라마 모델 지원합니다. - oobabooga/텍스트 생성 웹 UI
대형 언어 모델을 위한 Gradio 웹 인터페이스입니다. 텐서플로우, GPTQ, AWQ, EXL2, llama.cpp (GGUF), 라리마 모델을 지원합니다.
Oobabooga 的核心功能
다중 모델 백엔드: 토너먼트, llama.cpp (통합된 llama-cpp-python), ExLlamaV2, AutoGPTQ, AutoAWQ, GPTQ-for-LLaMa, QuIP#.
이 문장은 다양한 모델 기반의 �백엔드를 언급하고 있습니다. 각 라벨은 고유한 백엔드를 나타냅니다.
다운로드 메뉴를 통해 다양한 모델 간에 빠르게 전환할 수 있습니다.
거대한 확장 모음 (내장 및 사용자 기여형)을 포함하여, 현실적인 음성 출력을 위한 Coqui TTS, 음성 입력 및 번역을 위한 Whisper STT, 다중 모달 파이프라인, 벡터 데이터베이스, Stable Diffusion 통합 등이 있습니다.
고유 캐릭터와 대화하세요.
확실한 지시에 따르는 모델을 위한 정교한 챗봇 템플릿입니다. 이들로는 Llama-2-Chat, Alpaca, Vicuna, Mistral 등이 있습니다.
로라(LoRA): 자신만의 데이터로 새로운 로라는 학습하고, 생성을 위해 즉시 로라는 로드하거나 언로드할 수 있습니다.
변환자 라이브러리 통합: bitsandbytes를 통해 4-비트 또는 8-비트 정밀도로 모델을 로드하세요. llama.cpp와 함께 transformers의 샘플러们(llamacpp_HF 로더)를 사용하여 CPU에서 32-비트 정밀도로 추론합니다. PyTorch를 이용합니다.
