記事一覧に戻る

ローカルLLM、いわゆる「クラウドを使わないAI」を試してみる(1)

はいさい!

 沖縄は朝夜はだいぶ涼しくなってきたと思えば急に暑くなったりしています。寒暖差が激しくなっているので、体調にはくれぐれもお気を付けください。

 さて、今回はAI関連の話題です。実は 高スペックのパソコンがあれば、クラウドに接続しなくてもAIを使用することができます! パソコンでAIを動かすことを「ローカルLLM」と言います。ローカルLLMには、通常のパソコンに搭載されているCPUではなく、GPU を使用します。

 GPUとは、Graphic Processing Unitでグラフィック計算に特化した専用のCPUです。グラフィックボードとかグラボと言われることも多いです。最近はパソコンでも、グラフィックが高品質だったり、激しい動きに対応するゲームが増えましたが、これらをプレイにするにはGPUを搭載したパソコンが必要です。もちろんGPUがなくてもゲームの起動はできますが、動きがカクカクしたり、クラッシュすることが多いです。

 そこで、現在ではグラフィックボードを搭載したパソコンは「ゲーミングPC」と一般的に呼ばれるようになり、非搭載に比べて値段も高くなっています。プロゲーマー向けの高性能なゲーミングPCだと100万円を超えることも。昨今では半導体不足によくメモリ部品の価格高騰もあり、ゲーミングPCの価格はさらに上昇する見込みです。

6万円台で中古ゲーミングPCをゲット!

 そんな中、企業の業務でもAIを利用する機会がかなり増え、ズケヤマもクラウドAIを月額契約して日々の業務で利用していますが、実は課金していても無制限にAIリソースが使えるわけではなく、「トークン」という概念があり、一定期間に規定量のトークンを使い切ってしまうと、しばらくは動かないという制約があります。

 ちょっとした調べもの程度であればトークンを消費し尽くすことはありませんが、プログラミングで多用すると、一気に消費してしまいます。そうすると仕事が進まないので、クラウドAIのバックアップ用として、ローカルAIでも動く環境を整えられれば、作業環境も改善します。

 ・・・ということで、近くのハードオフで買いました。6万円の中古、自作PC。スペックは下の通り。

  • OS: Windows 11 Home
  • CPU: 10世代 i5 2.9GHz
  • MEM: DDR4 16GB
  • STORAGE: 500GB SSD
  • GPU: GTX 1650 (VRAM 4GB)

 もちろん、ローカルLLMを使い倒すにはGPUのスペックが少なすぎるのですが、ひとまず初期装備としてはまずまずではないでしょうか。ここからさらに数か月かけてGPUをアップグレードしていく予定です。

ついでに、モバイル用プロジェクタも買いました!

 パソコン本体に加え、モニタを追加で買おうと思ったのですが、これが意外と高い!ゲーミングモニタなる概念があり、数万円もします。今月の予算では限界なので、他に良いのが無いか探していると、ジャンクコーナーに5000円のプロジェクタが。買ってみたかったんですよね。プロジェクタ。

 型番で調べてみるとこれが割と高性能で、解像度もフルHD対応していました。値札には「表示確認OK」のコメント。であれば一度買ってみようと思い、パソコンと同時に購入しました。またまたついでに接続用のHDMIケーブルもジャンクコーナーにあったのでそれも合わせてしめて7万円ちょい。いい買い物ができたかもしれません。

と、今回はここまで。次回は実際にローカルLLMを構築して動かしてみたところまでをレポートします!

ズケヤマ

著者紹介

ズケヤマ

個人事業主アトリエアズ主宰。1992年生まれ。「後先を考えない行動力のある」タイプでおそらく経営には向いていないけど、周りに恵まれてなんとかできている。
記事一覧に戻る