用 Ollama 在自己電腦跑模型,第一個問題常是「要下載多大的」。這篇把同一家的模型 Qwen2.5,從 0.5B 到 7B 四種大小,在同一台主機上跑同一組題目。
「B」是十億個參數。數字越大,模型通常懂得越多,但檔案越大、越吃記憶體、也越慢。
🧪 本站實測:測試環境
- 主機:本站測試用的雲端 Linux 主機,不是筆電。8 核心 Intel Xeon(虛擬機)、約 16GB 記憶體、沒有顯示卡、沒有 swap。
- 工具:Ollama 0.40.5。
- 模型:Hugging Face 上 Qwen 官方的 Qwen2.5-0.5B、1.5B、3B、7B Instruct GGUF,都選 Q4_K_M 壓縮版本。
- 時間:2026-10-18 01:41~01:42(台北時間),一次跑完四個模型。
- CPU 狀態:開始前用 top 看過,CPU 閒置約 98.8%,沒有其他程式佔著 CPU。這台主機稍早有別的程式在跑,本站沒有關掉它們,等它們結束才測。
你的電腦規格不同,秒數會不一樣。有顯示卡的電腦通常快很多。
結果總表
| 大小 | 檔案 | 載入秒數 | 最高記憶體 | 每秒詞元(寫短文) | 短文秒數 | 答對 | 簡體字 |
|---|---|---|---|---|---|---|---|
| 0.5B | 491MB | 1.3 | 605 MB | 108.1 | 2.8 | 3 / 6 | 0 |
| 1.5B | 1.1GB | 2.1 | 1,274 MB | 43.92 | 3.3 | 3 / 6 | 0 |
| 3B | 2.1GB | 3.3 | 2,275 MB | 20.23 | 8.6 | 4 / 6 | 0 |
| 7B | 4.7GB(分成 2 個檔) | 8.6 | 4,863 MB | 9.94 | 15.4 | 4 / 6 | 0 |
每一題的回答
題目都要求「只回答」答案,設定 temperature 0、seed 1,每題問一次。對錯由程式比對標準答案。
- 一個便當 85 元,買 7 個,付 1000 元,應該找多少錢?只回答數字。
- 2026 年 10 月 18 日是星期幾?只回答星期幾。
- 台灣最高的山是哪一座?只回答山名。
- 下面這句話裡有幾個人名?只回答數字。句子:阿明和小芳去市場,遇到了老王。
- Excel 裡要加總 A1 到 A10 的公式是什麼?只回答公式。
- 把這句英文翻成台灣繁體中文,只給譯文:The meeting is postponed to next Monday.
- 請用台灣繁體中文寫一段約 150 字的短文,介紹貓咪的生活習性。
| 題目 | 0.5B | 1.5B | 3B | 7B |
|---|---|---|---|---|
| 便當找零(答案 405) | ❌ 250 | ❌ 114 | ❌ 553 | ❌ 345 |
| 2026/10/18 星期幾(答案 星期日) | ❌ 2026年10月18日是星期六。 | ✅ 星期日 | ❌ 星期一 | ❌ 星期五 |
| 台灣最高的山(答案 玉山) | ✅ 玉山 | ❌ 阿里山 | ✅ 玉山 | ✅ 玉山 |
| 句子裡幾個人名(答案 3) | ❌ 1 | ❌ 1 | ✅ 3 | ✅ 3 |
| A1 到 A10 加總公式(答案 =SUM(A1:A10)) | ✅ =SUM(A1:A10) | ✅ `=SUM(A1:A10)` | ✅ =sum(A1:A10) | ✅ =SUM(A1:A10) |
| 英翻中(會議延到下週一) | ✅ 會議將延後到下周一。 | ✅ 會議將延後至下週一。 | ✅ 會議延期至下周一。 | ✅ 會議延到下星期一舉行。 |
看得出來的幾件事:
- 找零那題(85 × 7 = 595,1000 − 595 = 405)四個模型全錯,7B 也錯。算數不要交給本機小模型。
- 星期幾那題,只有 1.5B 答對,而且它第一次測試時答「星期五」。
- 1.5B 說台灣最高的山是「阿里山」。0.5B 和 1.5B 都數成 1 個人名,3B、7B 數對。
- 0.5B 和 3B 的翻譯用了「下周」,台灣一般寫「下週」。整體沒有出現簡體字。
寫短文:0.5B 會鬼打牆
題目是「請用台灣繁體中文寫一段約 150 字的短文,介紹貓咪的生活習性」,每個模型最多輸出 300 個詞元。0.5B 把同一段話重複了 5 次,直到被上限截斷。其他三個都寫出完整的一段。
🧪 本站實測:0.5B 的短文(2.8 秒)
輸出(原樣貼上):
貓咪的生活習性非常有趣,它們是個體動物,有著自己的生活習慣和需求。在家中,貓咪會選擇休息、玩耍和活動,如在窗台上、地板上、樹上等地方活動。在活動時,貓咪會追逐、打撲、吃食、玩耍,並會在休息時休息、打盹、休息。在家中,貓咪會選擇休息、玩耍和活動,如在窗台上、地板上、樹上等地方活動。在活動時,貓咪會追逐、打撲、吃食、玩耍,並會在休息時休息、打盹、休息。在家中,貓咪會選擇休息、玩耍和活動,如在窗台上、地板上、樹上等地方活動。在活動時,貓咪會追逐、打撲、吃食、玩耍,並會在休息時休息、打盹、休息。在家中,貓咪會選擇休息、玩耍和活動,如在窗台上、地板上、樹上等地方活動。在活動時,貓咪會追逐、打撲、吃食、玩耍,並會在休息時休息、打盹、休息。在家中,貓咪會選擇休息、玩耍和活動,如在窗台上、地板上、樹上等地方活動。在活動時,貓咪會追逐、打撲、吃食、玩耍,並會在休息🧪 本站實測:1.5B 的短文(3.3 秒)
輸出(原樣貼上):
貓咪是人類最好的朋友之一,他們的生活習性非常有趣。貓咪喜歡在白天活動,晚上則會休息。他們喜歡在樹叢中或窗簾後面藏起來,等主人回家時再出來。貓咪非常愛吃肉,特別是貓糧和魚肉。他們還喜歡玩球和追逐,這可以幫助他們保持健康和精神振奮。貓咪也非常愛潔身自愛,會自己梳理毛髮,保持皮膚乾淨。他們還喜歡與主人互動,如玩耍、撿東西等。貓咪的生活習性非常豐富,讓我們更加了解和愛護這些可愛的動物。🧪 本站實測:3B 的短文(8.6 秒)
輸出(原樣貼上):
貓咪的生活習性豐富多彩,牠們是貓科動物中最具靈活性的一種。貓咪喜歡獨處,但也有時會與家人或貓咪朋友一起玩耍。牠們喜歡在高處休息,如窗台或高樓梯,從而獲得視野上的優勢。貓咪的嗅覺非常敏銳,常常會用鼻子探索周圍環境,尋找食物或感知異常。此外,貓咪還擅長使用尾巴來表達情緒,尾巴高舉表示興奮,尾巴低垂則表示不安或恐懼。貓咪的睡眠時間約佔一天的三分之一,大部分時間都在休息或玩耍。總之,貓咪的生活習性豐富多變,牠們的獨特性格和習性讓牠們成為人類的好朋友。🧪 本站實測:7B 的短文(15.4 秒)
輸出(原樣貼上):
貓咪是一種獨來獨往的動物,它們的生活習性多樣且神秘。貓咪通常在白天活動較少,夜晚或清晨則是它們最活躍的時刻。它們喜歡獨處,但也能與人類建立深厚的情感聯繫。貓咪有著驚人的狩獵本能,即使在家中,它們也能模仿野生祖先的行為,追逐玩具或小動物模型。此外,貓咪非常注重個人衛生,每天都要花大量時間舔毛,保持皮毛的潔淨和光亮。它們還會用尿液和肛門腺分泌物來標記領地,這也是貓咪之間交流的一種方式。同樣設定,跑兩次答案會變
本站同一天先跑過一次(第一次的記憶體數字沒量到,所以總表用第二次)。兩次設定一樣,有些答案不同:
- 0.5B 找零:第一次 237,第二次 250。
- 1.5B 找零:第一次 118,第二次 114。
- 1.5B 星期幾:第一次「星期五」,第二次「星期日」。
第一次答對 3、2、4、4 題,第二次 3、3、4、4 題。小模型的對錯不太穩,重要的事不要只問一次。
怎麼選
- 先看記憶體。7B 跑起來就佔約 4.9GB,還要留給系統和瀏覽器;記憶體 8GB 的電腦用 7B 可能會很吃緊。
- 只想試試看、或電腦比較舊:從 1.5B 開始。
- 這次測試裡,3B 和 7B 答對的題數一樣,但 3B 快了約一倍。沒有顯示卡的電腦,3B 是比較平衡的選擇。
- 0.5B 很快,但會重複、會答錯基本問題,不建議拿來寫東西。
- 授權:0.5B、1.5B、7B 是 Apache 2.0;3B 是 Qwen 自訂的 qwen-research 授權。要用在工作上,先讀條款。
🐾 常見的坑7B 的 Q4_K_M 在 Hugging Face 上分成兩個檔(-00001-of-00002、-00002-of-00002)。本站把 Modelfile 的 FROM 指向第一個檔,匯入失敗;把兩個檔放在同一個資料夾、FROM 指向資料夾,才匯入成功。直接用
ollama pull 官方模型庫的版本,就不會遇到這個問題。