
GPTを自作して大規模言語モデルを理解する:PythonでTransformerとAttentionを学ぶLLM機械学習
Udemy · 日本語
この講座について
- 言語
- 日本語
- カテゴリ
- 提供元
- Udemy
- データ更新日
初期のGPTを1から作ってみます。ChatGPTのような役立つ生成モデルを再現することはできませんが、学問的な視点から、基本的なGPTを作ってみることで、どうして自然言語が使えるAIが実現するようになったのか、手を動かしながら学びます。イラスト解説と平行して、前半は自然言語処理の成り立ちを学び、後半では、Attentionメカニズムを搭載したTransformerの部品を作っていきます。臨機応変に機械学習に関係することも紹介しています。とにかく、掴める内容にしようと思って愚直に青臭くコースを作成しました。生の生成AIに触れてみたい方にお勧めです。
このサイトのメモ
- 向く人:LLM が中でどう動いているかを、コードを書いて確かめながら理解したい人
- 買う前に確かめたいこと:作るのは初期の GPT で、ChatGPT のように役に立つモデルは作れないと説明にある。Python や PyTorch をどこまで知っている前提かは書いていない





























