GitHub - LostRuins/koboldcpp: 各種GGMLとGGUFモデルを実行するための単一ファイルの方法。KoboldAIのUIで使用できます。
はじめに:
GGMLやGGUFの様々なモデルを実行するための単純で1ファイル構成の方法です。KoboldAIのUIと組み合わされています。 - LostRuins/koboldcpp
KoboldCPP 製品情報

KoboldCPP とは何ですか? ?

KoboldCppは、GGMLやGGUFモデル向けの使いやすいAIテキスト生成ソフトウェアです。これはConcedoから提供される単一で完全な配布物で、lama.cppに基づいて構築され、多機能のKobold APIエンドポイント、追加フォーマットサポート、Stable Diffusion画像生成、バックワードコンパチビリティなども含みます。さらに、豪華なUIと永続的なストーリー、編集ツール、保存形式、メモリー、世界情報、作者の注文、キャラクター、シナリオなど、KoboldやKobold Liteが提供するすべてを備えています。

KoboldCPP の主な機能

シンプルで使いやすいAIテキスト生成ソフトウェア

GGMLとGGUFモデルをサポートしています。

単一の自立型配布可能ファイル

lama.cppを基に構築します。

多機能の kobold API エンドポイント

追加のフォーマットサポート

安定版のDiffusion画像生成

後向互換性

豪華なUIと継続する物語、編集ツール、保存形式、メモリ、世界情報、作者の注釈、キャラクター、シナリオ。

KoboldCPP からの FAQ