AIML
呼び出しの開始と 呼び出し後のカスタム処理呼び出しのために、独自のAWS Lambdaフックを記述する機能
アーキテクチャとしてAmazon Redshift、Amazon RDS、Snowflake、Amazon Athena、AWS Glueなどのサービスを使用
SageMakerを用いた基盤モデル、LangChainなどと組み合わせる
もうBedrock使ってきてるやん…
GraphStormを使用すると何十億ものエンティティ間の関係や相互作用の構造を直接考慮したソリューションを構築
具体例としては詐欺検出シナリオ、レコメンデーション、コミュニティ検出、検索問題など
GraphStormは以下のような組み込みグラフMLモデルコレクションを提供
Relational Graph Convolutional Networks（RGCN）
Relational Graph Attention Networks（RGAT）
異種グラフを扱うHeterogeneous Graph Transformer（HGT）
グラフMLの専門知識が少ないML技術者でもタスクに応じて異なるモデルソリューションを試し、正しいモデルを迅速に選択可能
ちょっと気になる
OpenSearch, LangChain, Streamlitなどの組み合わせ
モデルはFLAN-T5 XXLとGPT-j-6B(ベクトル側)なので差し替えが必要
Jupyter AI
LLMを使い、プログラマーがソースコードを生成、デバッグ、説明するのを助けることが可能
また、ローカルファイルに関する質問に答えたり、簡単な自然言語のプロンプトからノートブック全体を生成したりすることも可能に
マジックコマンドと、JupyterLabのフレンドリーなチャットUIの両方を提供する
Amazon CodeWhisperer Jupyter エクステンション
JupyterLabおよびAmazon SageMaker StudioのPythonノートブックに対して、リアルタイムで1行または全機能のコード提案を生成するCodeWhisperer拡張を無料でインストールして使用できることを発表
Notebookのスケジュール実行
ノートブックスケジューリングツールが、オープンソースのJupyter拡張として登場
Amazon CodeGuru Jupyterエクステンション
ノートブックセル内のインジェクションの欠陥、データリーク、弱い暗号、暗号化の欠落などのセキュリティ脆弱性を検出するのを支援
また、MLライブラリAPIの誤用、無効な実行順序、非決定性など、計算ノートブックの可読性、再現性、正しさに影響する多くの一般的な問題を検出する
前回記事と併せるとMLflowを稼働させる方法の参考になりそう
複雑な画像の例としてAWSのアーキテクチャ図を題材としている
RekognitionのCustom Labelsやテキスト検出を使用
ストリーミングの取り込みはAmazon Managed Streaming for Apache Kafka (MSK)(Amazon MSK)を使用
事例としてはトランザクションに対する不正検知となっており、結構おもしろい
モデルはLLM GPT-J 6Bを使用。
LMI DLC(Large Model Inference, Deep Learning Container)と呼ばれている
モデルの圧縮や分割方法など網羅的に記載されているかも
カスタム変換でnltkやscipyを使うことができる
わずか100イベント程度でリアルタイムの不正防止MLモデルを迅速にブートストラップできる
登録されたモデルのうち互いに関連するものをグループ化し、階層的に整理することが可能
日本語の公式ブログ記事
言語モデル以外でも、inf2.8xlargeやinf2.xlarge辺りは音声処理でもターゲットになるかもしれない。
Last updated