ASADASHI
大規模言語モデルの内部構造を紙工作のジオラマで表現した俯瞰写真
研究・論文2026.06.17·読了 2·難易度: ふつう

AIの「思考の中身」が続々解明されている

大規模言語モデルの内部構造を紙工作のジオラマで表現した俯瞰写真

朝の出汁版(通勤2分)

  • ポイント1: 研究コミュニティでは、大規模言語モデルが内部でどう「役割分担」しながら推論しているかを解剖する動きが加速しており、Transformerの得意・不得意の構造的な理由が明らかになりつつある。
  • ポイント2: 注目したいのは、@AnthropicAIが公表したデータで、Claude Codeのタスク達成率がエンジニア職以外の職種でもソフトウェアエンジニアと7ポイント以内に収まることが示された点——「コードは専門家のもの」という前提が崩れてきている。
  • ポイント3: 営業・集客・制作をひとりでまわしたい人は、Claude Codeを自分の職種の文脈でそのまま試してみるのが今の始め方として現実的で、公式発表のデータが「職種の壁は思ったより低い」ことを裏付けている。

出汁の素(深読みモード)

これって結局どういうこと?

AIの「中身」を解剖する研究と、AIを「誰が使えるか」という実用データが、同じタイミングで出てきている。研究サイドでは、大規模言語モデルが内部でどのように役割を分担しながら推論しているかを可視化する動きが加速している。Transformerと呼ばれる現代AIの基本構造が「何を得意とし、何を苦手とするか」が構造レベルで明らかになりつつある段階だ。一方、実用サイドではAnthropicがClaude Codeのタスク達成率を職種別に比較したデータを公表した。結果は「エンジニア職以外でも、達成率の差は7ポイント以内」というもの。要は、AIの内部がどう動くかという研究と、AIが誰の仕事を変えるかという実証データが同時に積み上がっている局面だ。

なぜこのタイミングで重要?

AIの「内部解剖」研究が今注目される理由は、単なるアカデミックな興味にとどまらない。GPT-2という比較的小さなモデルで26個のアテンションヘッドを発見し、7つのクラスに分類したという研究(@DL_Hacks参照)は、モデルが「なぜ間違えるか」「どこに限界があるか」を構造から説明できる可能性を示している。AIはあなたが考える前に動いているでも触れたように、AIの挙動を「ブラックボックスのまま使う」フェーズから「構造を踏まえて使い方を選ぶ」フェーズへの移行が始まっている。

同時に、Transformerが状態追跡を苦手とするという研究知見は実用的な示唆を持つ。「ステップを明示的に追わせる」より「再帰的な活性化の流れに沿った使い方」が精度を上げる可能性がある。これはプロンプト設計の方向性にも直結する話だ。

Anthropicが公表したClaude Codeの職種別データはより直接的に刺さる。ソフトウェアエンジニアとその他職種の達成率差が7ポイント以内というのは、「コーディングツールはエンジニアのもの」という前提を公式データで崩したことを意味する。Claude Codeが1,000体のAIを自律で動かす時代へで紹介したように、Claude Codeはすでに単なるコード補完ツールを超えた動き方をしている。職種の壁が低いなら、使い始める理由を先延ばしにする根拠も薄くなる。

具体的に始めるなら

まず触るなら:Claude Codeをエンジニア以外の文脈で試す

Claude Codeへのアクセスは claude.ai から。Proプラン(月額20ドル)以上で利用可能で、無料プランでも一部機能の感触は確認できる。エンジニア職でなくても達成率が変わらないというデータがあるなら、自分の仕事の文脈でそのまま投げてみるのが現実的な始め方だ。

具体的な試し方として、以下の3パターンが考えられる。

① 制作・コンテンツ文脈で使う LPのコピーをHTMLごと生成させる、SNS投稿用の画像生成プロンプトをコード化して量産する、といった使い方。「コードを書く」というより「構造化された出力を得る」ツールとして使う発想で入ると入口が低い。

② 営業・分析文脈で使う 顧客リストのCSVを読み込ませてセグメント分けのロジックを書かせる、スプレッドシートで管理しているデータの可視化スクリプトを出力させる、といった使い方。ツールの操作知識より「何を達成したいか」の言語化のほうが成果に直結する。

③ タスク自動化の入口として使う 繰り返しやっている作業(例:毎週のレポート集計、フォームへの転記)をClaude Codeに説明して、Pythonスクリプトを出力させてみる。動かし方がわからなくても、出力されたコードをそのままコピーしてChatGPTやClaudeに「このコードを動かすにはどうすればいい?」と聞くループで前に進める。

プロンプト精度を上げたい人へ AIへの「逆質問」が精度を上げるで紹介した「AIに質問させる」アプローチは、Claude Codeでも有効だ。タスクを投げる前に「このタスクを達成するために、あなたが私に確認すべきことは何ですか?」と先に聞かせると、出力の精度が上がりやすい。

研究知見を使い方に活かすなら Transformerが状態追跡を苦手とするという研究結果を踏まえると、「前の会話の状態を引き継いで複数ステップで考えさせる」より「各ステップを独立したタスクとして渡す」ほうが精度が安定しやすい。長い会話を続けるより、区切ってリセットする習慣が実用面では有効だ。

よくある疑問

Q. エンジニアでなくてもClaude Codeは使えると言っても、コードが読めないと意味がないのでは?

Anthropicの発表データは「タスク達成率」の話であり、コードが読めることを前提にしていない。コードの中身を理解しなくても、「何をしてほしいか」を自然言語で伝えて出力を試す→動かない場合はエラーメッセージをそのまま貼り付けて再生成させる、というループで多くのタスクは進む。コードを読む力は使いながら後からついてくる。

Q. Transformerが状態追跡を苦手というのは、今のGPT-4oやClaude 3.5でも同じ?

今回の研究はGPT-2という比較的初期・小規模なモデルを対象にしたもので、最新の大規模モデルへの直接適用には注意が必要だ。ただし、Transformerアーキテクチャの構造的な特性に関する知見であるため、最新モデルでも「長い文脈での状態追跡」や「複数ステップの依存関係」が苦手な傾向は完全には消えていないと考えるのが現実的だ。公式ベンチマーク結果と照らし合わせながら判断したい。

Q. Claude Codeの料金体系は?

公式情報によると、claude.aiのProプラン(月額20ドル)から利用可能。APIを直接叩く場合は従量課金になる。無料プランでもClaude自体のテキスト生成機能は触れるため、まずClaude.aiで「コードを生成する」感触を確かめてからプラン判断するのが現実的な順序だ。

もう一歩踏み込みたい人へ

path patchingとモデル解釈可能性研究の実用的な意味

今回取り上げたGPT-2のアテンションヘッド分類研究で使われた「path patching」は、モデルの特定の部分の出力を差し替えて影響を測る手法だ。この手法を使うことで「このヘッドがなければ、この推論は成立しない」という因果関係が特定できる。解釈可能性(Interpretability)研究の中でも実用的な応用が見えてきているジャンルで、Anthropicが独自に進めている研究領域とも重なる。

興味がある人は「Mechanistic Interpretability」をキーワードに探すと関連論文・実装がまとまっている。EleutherAIやAnthropicのブログに入門向けの解説が揃っている。

Claude Code APIと自動化の組み合わせ

Claude CodeはAPI経由でも利用可能で、自分のワークフローに組み込める。たとえば、Zapierやn8nのようなノーコード自動化ツールと組み合わせると、「フォームに入力されたテキストをClaude Codeで処理してスプレッドシートに書き出す」といったパイプラインをコードなしで構築できる。公式ドキュメントはdocs.anthropic.comに整備されており、APIキーはconsole.anthropic.comで発行できる。無料トライアルクレジットあり。

AIに都市運営させたら、モデルで明暗が分かれたでも示されたように、複数タスクの連携にはモデルの特性理解が成果に直結する。解釈可能性研究の知見は、「どのモデルをどのタスクに使うか」という判断軸を研ぎ澄ませるための材料になる。

元になったツイート

  • IOI taskを提案し、GPT2smallの内部挙動を観察すること。26個のattention headsを発見し、7クラスとして命名された。それぞれのクラスは違うfunctionを持っている。path patchingという手法で発見し、分類した。 https://t.co/K8MNne5Lz4

  • Transformerは状態追跡が苦手なため、明示的な思考よりステップ方向への再帰的な活性化動態へ焦点を移すべきだと論じた研究。 https://t.co/CGTXbHIx70

  • We compared Claude Code success rates between occupations. On our toughest measure of success—requiring verifiable evidence that a goal was completed, like committed code—every field was within 7 percentage points of software engineering. https://t.co/ShxZK4p0e2

参照ソース