KoboldCPP

GitHub - LostRuins/koboldcpp:使用KoboldAI界面运行各种GGML和GGUF模型的简单单文件方法。
简介:
这是一个使用单个文件运行KoboldAI界面的各种GGML和GGUF模型的方法 - LostRuins/koboldcpp
KoboldCPP 产品信息

什么是 KoboldCPP ?

KoboldCpp 是一款易于使用的 AI 文本生成软件,专为 GGML 和 GGUF 模型设计。它是 Concedo 提供的单个自包含可分发文件,基于 llama.cpp 开发,并添加了功能丰富的 Kobold API 端点、额外格式支持、Stable Diffusion 图像生成、向后兼容性,以及带有持久故事、编辑工具、保存格式、内存、世界信息、作者注释、角色、场景等内容的精美用户界面。

KoboldCPP 的核心功能

易于使用的AI文本生成软件。

支持GGML和GGUF模型。

单个独立的可分发组件。

在这个基础上扩展了llama.cpp。

多功能 kobold API 端点

额外格式支持

"Stable Diffusion图像生成"

向后兼容性

华丽的用户界面,带有持久的故事、编辑工具、保存格式、内存、世界信息、作者注释、角色和场景。

来自 KoboldCPP 的常见问题解答