作者kimisawa (楊回血了。)
看板C_Chat
標題Re: [閒聊] RTX3060 12G復產兩個月 漲比5050更貴且慢
時間Wed Aug 26 11:27:40 2026
: 推 kimisawa: AI那段不對，12G可以放比5050大的模型 08/26 10:16
: 這句話只對30%
: 當你模型大到8G塞不下，12G以下可以塞的情況是成立
: 但是超過12G的時候又反過來，
: 另外8G塞的下的輕模型也是5050快得多
: 而且3060不支援FP8 E4M3/E4M2還有INT 4，遇到這種量化模型會被5050按在地上擦..
: 推 GenShoku: 這張是買來多卡AI的，你用遊戲性能來看肯定不值 08/26 10:23
: 推 sleep30hours: 有什麼模型是剛好8GB塞不下而12GB塞得下的嗎? 08/26 10:44
: → sleep30hours: 這年頭不就三個等級:8~9B以下，30B左右，數百B以上 08/26 10:44
: → sleep30hours: 以前還有不少12B~14B的量化後8GB很緊繃，但現在也只 08/26 10:45
: 推 laeva75: Gemma 12B 08/26 10:46
: → sleep30hours: 剩一個量化的Gemma4 12B僅此一家了。 08/26 10:46
: → laeva75: 單純跑minimax h3擴容買DRAM比買3060划算簡單.... 08/26 10:48
: → laeva75: VRAM大一點同一模型可以用更高精度的量化減少能力損失 08/26 10:50
: → gbcg9725: 9060xt 跑llm沒壓力，minimax所需時間大概是n卡6倍 08/26 10:55
: → gbcg9725: 所以我也看不懂在3060在貴什麼 08/26 10:56
: → gbcg9725: 實測llama-cpp用rocm版跟4070速度差不多 08/26 10:57
: → gbcg9725: 我是指9060xt 16g 08/26 10:58
: → tsunamimk2: 光12G vram就無敵了 08/26 11:14
: → tsunamimk2: 問題不只是權重本身 context長度差非常多 08/26 11:15
: → kimisawa: 3060貴因為被拿來AI多卡啊 08/26 11:15
: → tsunamimk2: 很多benchmark只看模型是不準的 08/26 11:15
: → tsunamimk2: 3060貴什麼喔 cuda啊 08/26 11:16
: → kimisawa: 你手上有一張24G N卡，插一張3060變成36G不香嗎？ 08/26 11:16
: → tsunamimk2: 還有可以裝很多張 08/26 11:16
: → kimisawa: 或是一張16G的 再插一張3060變成30G 08/26 11:17
: → kimisawa: 50XX+3060雖然說頻寬損失一些但便宜就可以增加大VRAM 08/26 11:18
https://www.youtube.com/watch?v=hqrBC4EgqbY
這邊就有實測了 5060TI 16G 加插一張 3060 12G
https://i.imgur.com/ZoXzgvJ.png
用Gemma3 27B
5060TI 16G x 2 = 22 tok/s
5060TI 16G單卡 + CPU offload = 5 tok/s
5060TI+3060 可以跑到 17 tok/s，價格卻低很多
國外很多都把3060拿來插多卡，所以這波才漲上去
用一張50系當主輸出處理FP8 E4M3/E4M2/INT 4這些，然後offload到 3060去
你可以3060插四張弄個48G，也才1500鎂
所以3060在國外才會被炒，因為太萬用了
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 68.228.69.69 (美國)
※ 文章網址: https://webptt.com/m.aspx?n=bbs/C_Chat/M.1787714863.A.6CA.html
1F：推 Yoimiya: 文藝復興 08/26 11:30
2F：推 davidex: GDDR7可以和GDDR6混用呀 08/26 11:31
3F：推 jazon: 好神奇 因為AI伺服器太貴就把腦筋動到高VRAM舊顯卡上 08/26 11:32
4F：推 ninnyshadow: 不是啊 源頭問題不就是因為50系買不到只好回頭去搶 08/26 11:38
5F：→ ninnyshadow: 3060 如果50系沒缺誰沒事想回頭用30系啊 08/26 11:38
不知道怎麼回答你的問題，本來就是看當下不是嗎？
你"現在"想玩大VRAM的N卡，你就是花大錢買5090 24G $5000鎂
或是插多張的3060，那個比較划算？
電蝦
#1gU65efG (PC_Shopping)，都有人插五張了 60GVRAM 哪來的50系？
6F：推 laeva75: 影片中的是跑layer split，只是把模型切分到2個gpu接力 08/26 11:47
7F：→ laeva75: 運算。沒有甚麼主卡計算副卡vram offload喔... 08/26 11:47
影片只是單純示意可以這樣插，我說的主卡副卡不是影片的內容，你有點誤會了
8F：推 laeva75: 真要用另一張gpu做offload的話還不如直接用主記憶體就好 08/26 11:50
9F：→ laeva75: ，反正瓶頸同樣是被pcie卡住，還可以少走一段路 08/26 11:50
看你在意的點是什麼，就像影片的內容，他覺得犧牲pcie但token提升還是很有感
10F：推 ninnyshadow: 就老黃實在是太邪惡了 我開始考慮改買新的MAC M5MAX 08/26 11:54
※ 編輯: kimisawa (68.228.69.69 美國), 08/26/2026 11:55:30
11F：推 laeva75: 犧牲的不是PCIe,而是5060Ti上面的那些較新的加速功能 08/26 11:58
12F：推 kausan: 不如直上70ti 08/26 12:09
13F：推 laeva75: 若模型大到16GB VRAM放不下的話，5070ti會比這種5060ti+ 08/26 12:15
14F：→ laeva75: 3060的組合慢非常多喔 08/26 12:15
15F：→ laeva75: 反之若模型與KV都在16GB內的話，單5070Ti碾壓這種雙卡組 08/26 12:16
16F：→ laeva75: 合 08/26 12:16
17F：→ tsunamimk2: 問題是主機板與電力..XD 08/26 16:01
18F：→ tsunamimk2: 還有分配管理記憶體需要driver 08/26 16:01
19F：→ tsunamimk2: 另外其實那個邊際效益不高 看你要做什麼 08/26 16:02
20F：→ tsunamimk2: 自己架設的推論機還是訓練機 訓練機其實永遠不夠 08/26 16:03
21F：→ tsunamimk2: 推論機的話 這投資又不一定划算 包括算圖算影片 08/26 16:03
22F：→ tsunamimk2: 目前實際的感覺是個人的顯卡大概16GB~24GB VRAM 08/26 16:03
23F：→ tsunamimk2: 然後用來當本地的script/agent第一層/RAG平台 08/26 16:04
24F：→ tsunamimk2: context 能撐到32K還有一定速度就好了 08/26 16:04
25F：→ tsunamimk2: kv cache/context/權重的比例其實是很微妙的 08/26 16:05
26F：推 tsunamimk2: 再往上加其實可以考慮排隊買mac mini/mac studio了 08/26 16:08
27F：→ tsunamimk2: 事實上我預期一開始賣就會排到明年 08/26 16:08
28F：→ tsunamimk2: 那個電力/算力/系統穩定度比真的很高 08/26 16:08
29F：推 tsunamimk2: 另外認真做事大概無法避免每個月三千去買max pro 08/26 16:11
30F：→ tsunamimk2: 那是必要的 因為大型的效果實在差很多 08/26 16:12
31F：推 DonnyDon: 30系真的是最操勞的一代，挖完礦出來又被叫去跑AI 08/26 17:49