想用 AI 又不想把資料交給雲端,也不想綁信用卡?在自己電腦跑模型是最徹底的做法,Ollama 是門檻最低的工具。
它是什麼
ollama/ollama,MIT 授權,★ 約 183,000(GitHub API,2026-10-15 查核)。它幫你下載模型、在本機執行,並提供一個本機 API 讓其他程式串接。
安裝
# Linux
curl -fsSL https://ollama.com/install.sh | sh
macOS 與 Windows 到 ollama.com/download 下載安裝檔(macOS 也可用 Homebrew)。
跑第一個模型
ollama run gemma4 # 官方 README 範例,第一次會先下載
ollama list # 看已下載的模型
可用模型清單在 ollama.com/library。模型檔動輒數 GB,先確認硬碟空間。
給其他程式用:本機 API
curl http://localhost:11434/api/chat -d '{
"model": "gemma4",
"messages": [{"role": "user", "content": "用一句話介紹你自己"}]
}'
想要網頁介面:Open WebUI
Open WebUI(★ 約 155,000,2026-10-15 查核)可以接上 Ollama,變成類似 ChatGPT 的介面。它用自家的 Open WebUI License:大致是 BSD 式授權,但多一條品牌條款——除非 30 天內使用者不超過 50 人、或取得書面許可/企業授權,否則不能移除或替換「Open WebUI」名稱與標誌。
我們實際裝了一次(2026-10-15)
這段是真的在一台 Linux 主機上做的,數字都是當下量到的,不同電腦結果會差很多。
| 主機 | Linux 雲端主機,8 核心 Intel Xeon、16GB 記憶體、無獨立顯示卡(安裝程式顯示偵測不到 NVIDIA/AMD 顯示卡) |
| Ollama 版本 | v0.40.4 |
| 安裝 | 官方一行指令,下載加安裝約 13 秒 |
| 模型 | Qwen2.5 0.5B Instruct(Q4_K_M 量化,約 491MB) |
| 第一次回答 | 載入模型約 1.3 秒,整題約 3.1 秒 |
| 產生速度 | 三次測試約每秒 82~93 個字數單位(token) |
結論:這麼小的模型在純 CPU 上也很快,但答案品質很差。我們請它「用繁體中文、三句話介紹台北」,三次都講錯:說台北在中國大陸、人口 3,000 萬,還混進簡體字和英文,也沒有照「三句話」的要求。小模型適合練習安裝流程,不適合拿來查事實。
① 一開始安裝失敗,訊息是「requires zstd for extraction」。這台 Linux 缺解壓工具 zstd,裝好(
sudo apt-get install zstd)再跑就成功。
② 用
ollama pull 下載模型時,被這台主機的網路限制擋下(下載會轉到另一個儲存網址)。一般家用網路通常不會遇到;我們改從 Hugging Face 下載官方發布的 GGUF 模型檔,再用 ollama create 匯入。
③ 自己匯入模型檔時沒有設定對話格式(TEMPLATE),模型停不下來,一直生出文字、吃滿 CPU。補上該模型的對話格式和停止詞後就正常了。用
ollama pull 官方模型庫的模型通常已內建這些設定。實測來源:本站於 2026-10-15 自行測試。模型檔:Qwen/Qwen2.5-0.5B-Instruct-GGUF。匯入方式參考 Ollama 官方文件:Importing a model。
資料來源
- Ollama GitHub README(安裝指令、run 與 API 範例,2026-10-15 查核)
- Ollama 官方下載頁
- GitHub API:ollama、open-webui(星數、授權)