ローカルLLM用のPC、何を買う?RTX 3090か中古M1 MaxかDGX Sparkか(ep.109)
おちつきAIラジオ 第109回(EP.109)/配信日: 2026.10.02/再生時間: 01:45:06
この回の概要
※収録日:2026/09/21
公式切り抜きチャンネル、はじまりました
おちつきAIラジオの公式切り抜き「おちつきAI【切り抜き】」を開設しました。1本15分前後で、本編のパートだけを切り出してお届けします。
▼Spotify
https://open.spotify.com/show/1ZDi70pwl9jQaLGD9mIDPq
▼Apple Podcasts
https://podcasts.apple.com/jp/podcast/id6814639855
こちらもフォローと「★5」のレビューで応援してください。
1周年祭のお知らせ
初の単独イベント「おちつきAIラジオ 1周年祭 2026」を、2026年10月3日(土)に東京で開催します。
▼「1年後のAI予測」投稿フォーム
イベントに来られない方も、どなたでもご参加いただけます。事前に集めた予測を当日読み上げ、2周年イベントで答え合わせをします!
https://forms.gle/xzgHP9AFfMgEUXGfA
▼1周年記念Tシャツは、まだ買えます
https://ochitsuki-ai.com/e/1st/tee-pod
トーク内容
「ローカルLLM(自分のPCで動かすAI)を始めたいけど、何を買えばいいのか」。AI素人のかねりんが、現役AIエンジニアのしぶちょーに聞きます。目標は、いまローカルで定番のQwen3.8-27Bを手元で動かすこと。
CPU・GPU・RAM・VRAMの違いから、モデルを軽くする「量子化」、VRAMに入りきらない分を本体側に回す「CPUオフロード」まで。そのうえで、かねりんの自作PC(RTX 3090・VRAM 24GB+RAM 128GB)、中古で人気のM1 Max、約100万円のDGX Sparkを比べます。結論は「大事なのはVRAM」と「買う前に、小さいモデルとQwenのAPIで試してみる」。
後半は、電気代とマイニングの思い出、MacからWindowsへの乗り換えと水冷PC、睡眠の話、しぶちょーの近況まで。
目次(タイムスタンプ)
- 00:00:00 オープニング/今日はローカルLLMを動かすPCの話
- 00:06:01 本命モデルはQwen3.8-27B/脱線:R32 GT-Rの車検代
- 00:13:35 PCはレンタルしたい?なぜローカルで動かすのか
- 00:24:45 PCの基礎:CPU・GPU・RAM・VRAM。足りない分はCPUオフロード
- 00:38:27 かねりんのPCはRTX 3090+RAM 128GB。量子化で軽くする
- 00:43:51 Appleの統合メモリ:中古のM1 Maxが熱い
- 00:49:01 本命はDGX Spark、約100万円。AI発信者の背景には必須?
- 00:55:57 ローカルの電気代とマイニング/まずはLM Studioで
- 01:00:58 MacからWindowsへ:メモリ不足と自作PC・水冷
- 01:09:00 ゲームする時間がない/睡眠と健康、ショートスリーパーは本当か
- 01:22:48 話を戻して:まとめはVRAMが大事
- 01:28:00 結論:小さいモデルとQwenのAPIで試す/Qwen Code
- 01:33:08 しぶちょーの近況:YouTubeと登壇
- 01:39:21 エンディング
- 01:40:46 アフタートーク
今回の要チェックキーワード
- Qwen(クウェン)
- Alibabaが開発するAIモデルのシリーズ。手元のPCで動かせる公開版もある。今回の主役はQwen3.8-27B。
- ローカルLLM
- 外部のサーバーではなく、自分のPCでLLMを動かす方法。オフラインで使え、データを外へ送らずに済む。
- CPU
- PC全体の処理を受け持つ汎用の計算装置。LLMも動かせるが、速さを求めるならGPUを使う。
- GPU
- 似た計算を大量にまとめて速く処理する装置。LLMの計算と相性がよく、生成の速さを左右する。
- RAM
- CPUが作業中のデータを置くメモリ。OSやアプリ、モデル、計算途中のデータが置かれる。
- VRAM
- GPU専用の高速なメモリ。何GBあるかで、動かせるモデルの大きさがほぼ決まる。
- メモリ帯域幅
- メモリから1秒間に運べるデータの量。容量が作業台の広さなら、帯域幅は運ぶ速さ。
- SSD
- モデルやアプリを保存しておく場所。容量が大きくても、RAMやVRAMの代わりにはならない。
- 27B
- Bは10億(Billion)。約270億個のパラメータを持つという意味で、27GBという容量ではない。
- パラメータ/重み
- AIが学習で調整した大量の数値。モデルの中身そのもので、この数が27Bのような表記になる。
- 量子化
- 数値を少ないビット数で表してモデルを軽くする技術。27Bを16ビットから4ビットにすると重みは約54GBから約13.5GBに。
- KVキャッシュ
- すでに計算した文脈の情報を取っておく場所。会話や資料が長いほどメモリを使う。
- CPUオフロード
- VRAMに入りきらない分を本体のRAMに置き、CPUも使って動かす方法。動くが、GPUだけより遅い。
- ユニファイドメモリ
- CPUとGPUが同じメモリを共有する仕組み。Apple Siliconなどが採用し、大容量をGPUからも使える。
- DGX Spark
- NVIDIAの小型AI開発機。Arm CPUとBlackwell世代GPU、128GBの共有メモリを1台にまとめている。
- tok/s(トークン毎秒)
- AIが1秒に何トークン生成できるかを示す速度の指標。大きいほど文字が速く出る。
- LM Studio
- ローカルLLMを画面の操作で探し、ダウンロードして、そのまま会話できるアプリ。入門の入口に向く。 —----------------------------
この回を聴く
「おちつきAIラジオ」は、日々のAIトピックを現役のAIエンジニア(しぶちょー)と元刑事のポッドキャストプロデューサー(かねりん)がやさしく解説する対談番組です。