Devotd Github
新着推論・サービング

llamastash/llamastash v0.10.0 — 複数エンジンを束ねるローカル LLM ツール

llamastash/llamastash は、複数のローカル言語モデル実行エンジンを共通インターフェースで扱う Rust ベースのターミナルツールで、リポジトリの最新リリースは v0.10.0 である。

リポジトリ情報llamastash/llamastash ↗

llamastash/llamastash は、複数のローカル言語モデル実行エンジンを共通インターフェースで扱う Rust ベースのターミナルツールで、リポジトリの最新リリースは v0.10.0 である。

GitHub の説明: Zero-overhead, terminal-native local-LLM orchestrator. Run any engine, any model via the same proxy.

スター
★ 253
フォーク
20
言語
Rust
ライセンス
MIT
最新リリース
v0.10.0
原文を見る ↗GitHub で見る ↗

llamastash/llamastash は、llama.cpp、vLLM、SGLang といったローカル言語モデル実行エンジンを 1 つのプログラムで扱う Rust のターミナルツールである。リポジトリの最新リリースは v0.10.0 だ。提供された資料にはこのバージョンで変更された項目が記載されておらず、具体的な変更内容は確認できない。リポジトリの説明は、複数のエンジンとモデルを同じプロキシで実行するツールだと紹介している。

このプロジェクト的核心は、実行エンジンごとに異なる使い方を共通インターフェースにまとめている点にある。画面系インターフェース、コマンドライン、バックグラウンドサービス、OpenAI 仕様のプロキシサーバーを 1 つのプログラムにまとめている。llama.cpp、vLLM、SGLang だけでなく、設定した互換サーバーも同じアドレスとインターフェースで提供する。初期セットアップツールは実行器と起動モデルを準備し、設定を検証する。エージェントスキル機能も含まれ、ライセンスは MIT だ。したがって、エンジンを切り替えても同じ 접근を維持したいローカル実行環境に焦点を置いている。

リポジトリはインストールと利用の手引き、エンジンごとの説明、テストおよび性能測定の資料を提供すると説明している。ただし資料に示されたモメンタム(momentum)スコアは 1.5 で、新規性 8.0、技術 7.0、完成度 8.0 を下回る。これは、複数エンジンを一箇所で扱う構成が目を引く,尽管、そのプロジェクトの推進力が強いと断定できる根拠は限られることを示している。