在自己電腦上跑 AI 的開源工具

資料不出本機，不必訂閱。

1. rtkrtk-ai/rtk新★ 84.5kApache-2.0Rust

   CLI代理工具，可減少LLM的token消耗60-90%

   單一Rust二進制文件，無依賴

   brew install rtk # macOS / Linux winget install rtk-ai.rtk # Windows curl -fsSL https://raw.githubusercontent.com/rtk-ai/rtk/refs/heads/master/install.sh | sh複製
2. unslothunslothai/unsloth新★ 78.5kApache-2.0Python

   本地運行和訓練大型語言模型及擴散模型的圖形界面應用

   支持多種模型格式和GPU加速

   curl -fsSL https://unsloth.ai/install.sh | sh複製
3. Ollamaollama/ollama★ 185kMITGo

   一行指令在本機下載並執行 Qwen、DeepSeek、Gemma、gpt-oss 等開放權重模型，並提供 OpenAI 相容 API。

   幾乎所有本地 AI 工具都以它為後端，裝好後瀏覽器擴充、筆記外掛、編碼 agent 都能直接接上。

   brew install ollama複製Linux：curl -fsSL https://ollama.com/install.sh | sh
4. Open WebUIopen-webui/open-webui★ 157k自訂授權Python

   自架的 ChatGPT 式網頁介面，可接 Ollama 與任何 OpenAI 相容 API，內建 RAG、網頁搜尋、多使用者與 MCP。

   適合在家用伺服器或 NAS 上架一套給全家或小團隊共用，功能完整度在自架介面中最高。

   pip install open-webui && open-webui serve複製或 Docker
5. Cherry StudioCherryHQ/cherry-studio★ 52.9kAGPL-3.0TypeScript

   跨平台桌面 AI 客戶端，一個介面整合多家雲端模型與本機 Ollama，內建知識庫、MCP、agent 與 300+ 助手範本。

   華人團隊開發、繁簡中文介面完整，對 DeepSeek、通義、Kimi 等中國模型與海外模型都支援，設定門檻低。

   安裝官網 cherryai.com 或 GitHub Releases 下載安裝檔
6. Janjanhq/jan★ 45.1k自訂授權Rust

   完全離線執行的 ChatGPT 式桌面 App，內建模型下載與 llama.cpp 引擎，也能切換到雲端 API。

   對不想碰終端機的人最友善的本機 LLM 方案，Tauri 打包、體積小，可同時當本機 API 伺服器。

   brew install --cask jan複製
7. Handycjpais/Handy★ 34.5kMITRust

   按下快捷鍵說話，就用本機 Whisper／Parakeet 模型把語音轉成文字，直接輸入到任何應用程式。

   完全離線、免費，是 Superwhisper、Wispr Flow 等付費聽寫工具的開源替代，支援中文辨識。

   安裝GitHub Releases 下載 macOS／Windows／Linux 安裝檔

更新於 2026年10月25日 · ★ GitHub