LLM アルゴリズム

• 2021-09-08 GPT-2のパラメータについての解説記事

  • 割ときちんと解説されていてよくわからずに使っている場合は読んでおいた方が良い

• 2022-12-06 ChatGPTはどのように学習を行なっているのか

  • ChatGPT限定の結構詳しい記事

• 2022-12-12 話題爆発中のAI「ChatGPT」の仕組みにせまる！

  • こちらも詳しい

• 2023-03-22 Sparks of Artificial General Intelligence: Early experiments with GPT-4

  • Microsoft ResearchによるGPT-4を調査した論文

  • 150ページにも及ぶため読めていない

• 2023-04-24 大規模言語モデルのための強化学習｜npaka｜note

  • なぜ「強化学習」が「教師あり学習」よりも言語モデルの学習に適しているのか、考察した記事で面白い

• 2023-04-24 Scaling Transformer to 1M tokens and beyond with RMT

  • 200万トークンの処理が可能にスケーリングするモデルについての論文

  • Recurrent Memory Transformerという昨年の論文に基づいている

    • https://arxiv.org/abs/2207.06881

  • 絵だけみる感じたと階層的にやる感じなのかなー、比較的ロースペック(1080Ti)で実験しているので検証はし易そうだがコードがない

  • この動画で話題になっている

    • https://www.youtube.com/watch?v=0404XdXnUvU

• 2023-04-26 Harnessing the Power of LLMs in Practice: A Survey on ChatGPT and Beyond

  • GitHubで必要な論文などの情報がまとめられている

    • https://github.com/Mooler0410/LLMsPracticalGuide

  • 正攻法で学術的なまとめで、LangChainやLlamaIndexなどについては特に言及がない

• 2023-06-16 [2306.09927] Trained Transformers Learn Linear Models In-Context

• 2023-07-11 大規模言語モデルがIn-Context Learningをどのように実現しているかの論文紹介

• 2023-07-11 GPT-4の情報がリーク

• 2023-07-12 Microsoftが10億トークン処理できるLongNetを発表

• 2023-07-14 事前学習を学習する仕組みとしてReLoRAが研究

  • https://twitter.com/syoyo/status/1681043246104064000

  • ReLoRA: Stack More Layers Differently のメモ