jesdga95/basalt

多種多様なオープンモデルをローカルまたはクラウドで実行する汎用推論エンジンです。

大規模言語モデルをローカル実行する汎用 C/C++ 推論エンジンです。

Qwen3.8-Flash-Nextをワンクリックで導入し、OpenAI・Anthropic互換APIをローカル提供する実行エンジンです。

特定の DeepSeek、GLM、Qwen モデルを Metal、CUDA、ROCm 上でローカル実行し、SSD ストリーミングに対応します。

OMLX は Apple Silicon 向けローカル LLM 推論サーバーで、継続バッチ、SSD/KV キャッシュ、メニューバー管理を提供します。

GPU・CPU・ホストメモリを連携し巨大MoEモデルをローカルでサービングするエンジン。