LLMの原理を学ぶとAIとの付き合い方が上手くなる

Claude Codeを本格的に使い始めてから、AIがコーディングしている最中に手持ち無沙汰になることが増えた。その空き時間に手に取ったのが「作りながら学ぶ! LLM自作入門」という本である。この経験が、AIを活用したコーディングやエージェント構築において、想像以上に役立つことになった。

今さらLLMの中身を学ぶ意味 ​

もちろん、LLMを自作してClaude Codeの代わりにしようなどという考えは毛頭ない。目的はただひとつ、目の前で魔法のような仕事をしているLLMが、どんな原理で動いているのかを本質的に理解することだった。

SNSでは「こんなプロンプトを書けば上手くいく」「このサービスを使えばすごいことができる」といった、成果を早く得るための表面的なテクニックが多く取り上げられている。LLMの中身を学んだところで、自分たちがLLMを構築できるわけではない。遠回りに見えるし、「そんなこと学んでどうするの」と思われがちだ。

しかし実際にやってみると、LLMの現象を外側から機能的に捉えるだけでなく、原理的な部分から演繹的に理解することで、AIとの付き合い方が格段に上手くなった。以下、特に実感した3つのポイントを紹介する。

一問一答ではなくコンテキストで考える ​

LLMを使うとき、多くの人は「人間が入力したものに対して機械が答える」という単純な一問一答のモデルを思い浮かべている。しかしLLMの仕組みを学ぶと、実際にはそうではないことがわかる。

LLMの入力は、直前のプロンプトだけではない。過去の会話内容すべて、つまりコンテキスト全体が次の出力の入力になっている。重要なのは、LLMが出力したもの自体もまた、自分自身の次の回答の入力になっているという点だ。

この構造を知らないと、AIをガチャのようなものだと捉えてしまう。良い出力が出ることもあれば、悪い出力が出ることもある。その確率を制御できないから使えない、という失望につながる。

しかしコンテキストという構造で考えれば、LLMとの関係は一回きりの勝負ではなく、長期的な対話の積み重ねだとわかる。もちろん、悪い出力がコンテキストに残れば次の出力にも悪影響を与えることもある。だからこそ途中での軌道修正が重要であり、それも含めて対話を重ねていくと、ある段階で急激に自分にとって満足のいく出力に到達することがある。一問一答の発想ではこの感覚は得られない。コンテキストの原理を理解して初めて、LLMとの長期的な付き合い方が見えてくるのだ。

暗黙の前提を共有する重要性 ​

LLMの原理を学ぶと、結局のところLLMはトークン（言葉の最小単位）同士の関係性を、比喩的に言えば「距離」のようなものとして計算する機械であることが見えてくる。もちろんこれは大胆な簡略化であり、実際にはアテンション機構による複雑な文脈依存の重み付けが行われている。しかし、膨大なパラメータによる関係性の計算が、まるで知性を持っているかのような振る舞いを生み出しているという本質は変わらない。

この理解は、指示の出し方に直結する。

LLMは単語の表記の揺れには驚くほど強い。同じ意味の言葉であれば、多少表現が異なっていてもかなり正確に理解してくれる。指示代名詞の解決や文脈の推論も、最近のモデルでは非常に精度が高くなってきている。

しかしLLMが依然として苦手とするのは、ユーザーが頭の中で持っている前提が共有されていない状況だ。自分にとっては当たり前の前提条件でも、それが言語化されていなければLLMには伝わらない。ユーザーの意図と違う結果が返ってくるとき、その原因の多くは指示代名詞の曖昧さではなく、暗黙の前提のずれにある。

これは人間関係とまったく同じだ。優秀なスタッフであっても、こちらの前提を知らなければ的外れな成果物を出してくることがある。相手が作業する上で何が前提として必要なのか、それを効率よく共有することがLLMとの協業でも極めて重要である。前提の共有が大事だとわかるのは、LLMが言葉を理解しているのではなく関係性を計算しているに過ぎないと知ればこそだ。

学習プロセスの想像が役割分担を明確にする ​

LLMがインターネット上の膨大な情報を学習しているという事実は広く知られている。GitHubのオープンソースコード、Stack OverflowのようなQ&Aサイト、技術ドキュメント、ブログ記事。世界中の知識を学習データとして取り込んだうえで、さらにRLHFなどの訓練を経て今の姿がある。

ここで気をつけたいのは、AIを使いながらも自分で検索して方針を決めてからAIに指示を出す、というやり方をとる人が少なくないことだ。特定の技術を深掘りしたいときや、最新のAPI仕様を確認したいときには、もちろん自分で調べた情報を与えることが有効である。しかし注意が必要なのは、ユーザーが与えた情報がLLMにとっての大前提となり、その後の推論の方向を強く規定してしまう場合があることだ。

LLMは基本的に世界中のインターネットを「検索済み」の存在である。探索的に広く可能性を検討したい場面では、自分の限られた検索結果で方向性を狭めるよりも、まずLLMに広く浅く知識を求めるほうが有効なことが多い。

もちろんLLMの言うことがすべて正解というわけではない。しかし、どういう学習を経て今ここにいるのかを想像できると、自分でやるべきこととLLMに任せていいことの線引きがより明確になる。LLMが膨大な知識から最適解を提案してくれる領域と、人間がドメイン知識や文脈で判断すべき領域。その境界を見極める感覚は、学習プロセスの理解から自然と身につくものだ。

地味だからこそ希少価値がある ​

新しいAIサービスやツールは今も次々と登場している。それらのほうが華やかだし、できることも派手で、世間の注目を集めやすい。みんなが飛びつくのも当然だ。

しかし、この分野の新しい情報のほとんどはすぐに陳腐化する。新しいモデルが出ればリセットされ、常に最先端を追い続けなければ自分の優位性を保てない。消耗戦である。

一方、LLMの原理的な部分はそう簡単には変わらない。現在の主流アーキテクチャであるトランスフォーマーのアテンション機構、トークンの埋め込み表現、コンテキストウィンドウの仕組み。もちろんAI研究の進展は速く、将来的にトランスフォーマーに代わるアーキテクチャが台頭する可能性もある。しかし少なくとも数年単位では通用する知識であり、数日で風化する新サービスの使い方とは時間軸がまったく異なる。そして地味で注目を集めないからこそ、この知識は市場において希少価値を持つ。

これはAIに限った話ではなく、あらゆる分野に共通する構造だ。表層の流行を追う人は多いが、原理を深く理解している人は少ない。だからこそ、原理を知る人の判断には厚みが出るし、新しいツールが登場しても本質的な特性と限界を素早く見抜ける。

AIが魔法のように見える今だからこそ、華やかな最先端に振り回されず、その魔法の種を学んでみることを勧めたい。手持ち無沙汰な時間に手に取った一冊が、AIとの付き合い方を根本から変えてくれた。