LLM 活用記事
sakasegawa氏
Makeはいわゆるmakeではなくてインテグレーションするツールの話
sakasegawa氏
LlamaIndexを使わずにスクラッチで仕組みを考える場合には良いかも。
NLIタスク、前提文と仮説文が与えられたときに、仮説文が前提文に対して、以下のいずれかの関係であることを推論するタスクで検証
コンテキスト保持の仕組みの参考になると考えられる
手順は以下
CharacterTextSplitterで300字のチャンクに分割
チャンク毎にtext-embedding-ada-002で埋め込みベクトルを生成
Faissを使いk-means法でクラスタ数を5としてクラスタに分ける
各クラスタ毎にload_summarize_chainで要約する
各クラスタにLLMでタイトルをつけてもらう
割と要約の選択肢として良いのかも。
量子化、バッチ化、並列化が既存
これに対してASSISTANT MODELを使って生成することで低レイテンシーを実現
TransformersのAPIを使えば簡単に利用可能らしい
基本的な内容で新しいものはない
フレームワークや検索方法の判断基準などが書いてありとても有用
まあ想定の範囲内な内容だった
streamlitは把握しておかないと今後役に立つのかもな
もともとtoolsが同様の機能であったため、かなり自然な形でFunction Callingがマージされている
initialize_agentで、agent=AgentType.OPENAI_FUNCTIONSを指定するのみ
Function Callingを使ってテキストに感情やスピード、ボリュームなどをタグ付けする機能
記事ではその結果をRINNAを使って音声合成している
さすがにDeepLの方がまだ頑張っていそう。GPT-4なら分からんけど。
Last updated