
ゼロからわかる LLM のしくみ ― 100年の歴史でたどる言語モデル入門
Udemy · 日本語
この講座について
- 言語
- 日本語
- カテゴリ
- 提供元
- Udemy
- データ更新日
ChatGPTの「中」で何が起きているのか、100年の歴史でたどるChatGPTのような大規模言語モデル(LLM)は、中でいったい何をしているのでしょうか。この講座は、プログラミングや数学の予備知識がない方でも、その基本原理を自分の言葉で説明できるようになることを目指します。進め方は少し変わっています。最新のモデルをいきなり説明するのではなく、1913年のマルコフ連鎖から2026年のハイブリッド構造まで、言語モデルの歴史をおよそ100年分、順番にたどります。どの技術も「前の技術の困りごと」を解決するために生まれました。困りごとと解決策をセットで追いかけると、難しそうな最新技術も自然に頭に入ってきます。図・たとえ話・最小限の数式で講座全体を通して、「本を読む人の記憶のしかた」というひとつのたとえ話を使います。直前の数語だけを見る、1本のメモに要約する、付箋を見返す、毎回全文検索する、賢い要約メモに戻る。記憶のしかたの違いとして各モデルを理解していきます。数式は最小限にとどめ、どうしても必要なときは必ず「図、たとえ話、式」の順に説明します。式を読み飛ばしても話がつながるように作ってあります。使う計算は足し算、掛け算、そして「割合」の感覚だけ。Self-Attentionも、小さな数字で1回だけ手計算をなぞって、しくみを体で覚えます。各セクションの最後には3行まとめとクイズがあり、答えられれば次に進める構成です。学ぶこと言語モデルは「次の言葉当てゲーム」であるという出発点N-gram:数えて当てる時代と、その2つの限界埋め込み、RNN、LSTMのゲート:単語を数字にし、読みながら覚えるseq2seqとAttention:付箋を重み付き平均で見返す発想Transformer:Query・Key・Value、Self-Attention、位置エンコーディング、マルチヘッド、FFN、そしてKVキャッシュという弱点Linear Attention、S4、Mamba:固定サイズの状態で長い文脈を扱うGated DeltaNetとGated Attention:要約メモ3回と全文検索1回のハイブリッド構造、attention sink、MoE、Qwen3-Next/3.5/3.8の読み解き講座を終えるころには、ニュースや論文タイトルに出てくるAttention、KVキャッシュ、状態空間モデル、MoEといった用語が怖くなくなり、新しいモデルが登場しても「これは前の何を解決したのか」という目で読めるようになります。おすすめの学び方は1日1セクションです。





























