東大 松尾研究室のLLM(大規模言語モデル)講座の講義資料が無償公開

東京大学の松尾研究室は、2023年9月から10月にかけて開催した大規模言語モデル（LLM）に関するサマースクール講座の資料を無償で公開しました。この講座は、ChatGPTなどのテキスト生成AIの核心技術であるLLMについて、体系的に学ぶことができる内容となっています。約2000人が受講したこの講座の全7回分の講義スライドが無償公開されており、LLMに深く学びたい方には特におすすめです。非営利目的の二次利用も可能ですので、関心のある方はぜひダウンロードしてご活用ください。

東大松尾研究室のLLM 大規模言語モデル講座

LLM講座の資料はこちらになります。

第1回：Overview of Language Models
LLMの概要、今後の各回の講義の概要、および日本のLLM開発状況について

第2回：Prompting and Augmented Language Model
事前学習済みLLMを追加学習せずに活用する技術（プロンプティング、⽂脈内学習、Augmented Language Models）について

第3回：Pre-training Pipeline
LLMの主流なモデル構造であるTransformerと、その事前学習の仕組みについて

第4回：Scaling Pre-training
LLMをスケール（大規模化）する理由、スケールにおける課題、スケールしたモデルを学習する⽅法について

第5回：Parameter Efficient Finetuning
LLMのファインチューニング（タスク適応・ドメイン適応を実現するためのFinetuning、対話性能やzero-shot・few-shot性能を向上するInstruction Tuning、および効率的なFinetuning手法であるParameter Efficient Finetuning）について

第6回：RLHF, Advanced Topic for Tuning Pre-trained Models
RLHF (Reinforcement Learning from Human Feedback) について

第7回：Going Beyond LLM
理研AIP 研究員 栗田修平氏による特別講義（「Going Beyond LLM」、LLM構築における実践的なナレッジやLLMのマルチモーダル化について）