👨‍💻
dev-wiki
  • README
  • コンテンツ
    • AIML
      • 異常検知
      • Deep Learning全般
      • 情報検索
      • NLP
      • レコメンド
      • その他
    • アプリ開発
    • 数学
    • 最適化
  • ノート
    • ベイズ統計
  • 書籍
    • データ指向アプリケーションデザイン
    • チームトポロジー
    • ボトムアップDDD
    • エンジニアリングマネージャの仕事
    • ロバストPython
  • スクラップ帳
    • AIML(バイオ)
    • AIML(CV)
    • AIML(LLM)
    • AIML(音声)
    • AIML(時系列)
    • AIML
    • アナリティクス
    • アーキテクチャ
    • DB
    • フロント
    • Python
    • 開発ツール
    • AWS
    • コンテナ
    • IaC
    • ネットワーク
    • セキュリティ
    • ビジネス
    • チームマネジメント
    • 古いスクラップ
  • フロントエンド
    • 導入
    • CSS
    • HTML
    • JavaScript
    • バンドラ
    • MSW
    • Next.js
    • React
    • SolidJS
    • Storybook
    • TypeScript
    • Vue
    • ブラウザ
  • Python
    • 環境構築
      • anaconda
      • poetry
      • pyenv
    • 標準機能
      • typing
      • assert
      • base64
      • datetime
      • except
      • logging
      • pathlib
      • syntax
      • retry
      • difflib
      • json
    • 可視化
      • matplotlib
      • seaborn
    • 分析・解析
      • jupyter
      • numpy
      • pandas
      • pyspark
      • cv2
    • アプリ開発
      • fastapi
      • requests
      • pydantic
      • pytest
      • sqlalchemy
      • celery
    • 便利ツール・その他
      • tqdm
      • まとめ
  • AWS
    • 全般
      • AWS コスト
      • AWS アーキテクチャ例
      • AWS Tips
    • 開発環境
      • AWS CLI
      • AWS SDK
      • Management Console
    • 基本
      • 概要
      • AWS IAM
      • Amazon S3
      • Amazon EC2
      • Amazon VPC
      • Amazon EC2 Instance Connect
    • ネットワーク
      • AWS NAT Gateway
      • Amazon Route53
    • セキュリティ
      • Amazon Inspector
    • コンピューティング
      • AWS Lambda
      • Amazon ECS
      • Amazon ECR
      • AWS ParallelCluster
      • AWS Batch
      • Amazon Lightsail
    • アプリ開発
      • Amazon API Gateway
      • AWS App Runner
      • AWS CDK
      • Amazon Kinesis
      • AWS CodeBuild
      • AWS CodePipeline
      • Amazon Connect
      • AWS Step Functions
      • AWS System Manager
      • AWS CloudTrail
      • AWS Cognito
      • AWS Application Composer
      • Amazon SNS
      • Amazon EventBridge
      • Amazon CodeCatalyst
      • Amazon CloudWatch
    • ストレージ
      • AWS Transfer Family
      • AWS Storage Gateway
      • Amazon EFS
    • DB
      • Amazon RDS
      • Amazon Aurora
      • Amazon Neptune
      • Amazon DynamoDB
      • Amazon DocumentDB
    • AIML
      • Amazon Personalize
      • Amazon SageMaker
      • Amazon Kendra
      • Amazon Comprehend
      • Amazon CodeWhisperer
      • Amazon Rekognition
      • Amazon SageMaker
      • Amazon Polly
      • Amazon Fraud Detector
      • Amazon Translate
      • Amazon Lex
      • AWS Inferentia
      • Amazon Bedrock
    • Analytics
      • Amazon Redshift
      • Amazon Athena
      • AWS Glue
      • Amazon QuickSight
      • Amazon OpenSearch Service
      • Amazon Location Service
      • AWS Clean Rooms
      • Amazon EMR
  • クラウド開発
    • Azure
      • Azure OpenAI Service
      • Azure Cognitive Search
    • [GoogleCloud ]
      • 概要
      • Google Research
      • BigQuery
      • Cloud Data Fusion
      • GKE
      • Vertex AI
      • Compute Engine
      • その他
    • Terraform
  • 試験対策
    • AWS
      • AWS認定概要
      • SAA対策
        • 導入
        • IAM
        • VPC
        • EC2
        • S3
        • Well Architected Framework
        • Reliability
        • Route53
        • Database
        • Storage
        • サーバレス
      • SAAノート
      • SAA振り返り
      • Blackbelt
      • SAPノート
      • DOP対策
      • DAS対策
    • Google Cloud
      • ACE対策ノート
      • PCD対策ノート
  • Linux
    • セットアップ
      • ディスプレイ設定
      • ハードウェア情報確認
      • ネットワーク設定
      • NVIDIAドライバ設定
      • USB_LANアダプター設定
    • CLI・ツール
      • curl
      • msgconvert
      • ssh
      • ssl
      • jq
  • 開発環境
    • Docker
      • Dockerチュートリアル
      • Docker on WSL2
      • Dockerノウハウ
    • GitBook
    • Git
    • GitHub
    • npm, yarn
    • WSL
    • VSCode
    • PowerShell
  • 開発ツール
    • 開発ツール
    • PlantUML
    • 開発用SaaS
  • アプリ開発
    • nginx
    • データベース設計
    • MySQL
    • phpmyadmin
    • E2Eテスト
    • インフラ監視
    • 認証認可
    • Digdag
    • SQL
  • 設計開発全般
    • 記事
    • アーキテクチャ
    • 継承
    • QA
    • セキュリティ
    • ネットワーク
  • マネジメント
    • マネジメント
    • 採用
    • 商談
    • Working Agreement
  • 学習コンテンツ
    • 学習媒体
    • 書籍
    • 数学
  • Analytics
    • Analytics
  • AIML
    • 共通
      • データ拡張
      • AutoML
      • データセット
      • 評価指標
      • アノテーション
      • チューニング
    • 設計
      • 機械学習設計
      • MLOps
      • テスト
    • ライブラリ
      • PyTorch
      • PyTorchメモリ対策
      • Tensroflow
      • HuggingFace
      • TabNet
      • sklearn
      • PyMC3
      • MeCab
      • Sentencepieces
      • テキスト抽出
    • コンペ
      • コンペ一覧
      • Kaggleチュートリアル
      • コードコンペ(時系列)
    • その他
      • 前処理
      • レコメンデーション
      • Graph NN
      • 音声
  • CV
    • 概要
    • クラス分類
      • LeNet
      • AlexNet
      • VGGNet
      • ResNet
      • DenseNet
      • ResNeXt
      • MobileNet
      • MobileNetV2
      • Big-Little Network
      • Octave Convolution
      • EfficientNet
      • MixNet
      • CSPNet
    • 物体検出
      • HOG+SVM
      • R-CNN
      • SPP-net
      • Fast R-CNN
      • Faster R-CNN
      • YOLO
      • SSD
      • R-FCN
      • FPN
      • YOLOv2(YOLO9000)
      • RetinaNet
      • Mask R-CNN
      • RefineDet
      • PANet
      • YOLOv3
      • CornetNet
      • M2Det
      • FCOS
      • CenterNet
      • CenterNet
      • EfficientDet
      • YOLOv4
      • DETR
      • YOLOv5
      • Orthogonal Sphere Regularization
      • PSS
      • YOLOF
      • OTA
      • YOLOX
      • YOLOv7
    • セグメンテーション
    • 姿勢推定
    • 異常検出
    • 拡散モデル
    • その他のテクニック
    • ライブラリ
      • YOLOv5
      • YOLOX
      • motpy
  • NLP
    • 概要
    • Tf-idf
    • BM25
    • Lucene's Practical Scoring Function
    • Word2Vec
    • Transformer
      • Cramming BERT, 2022-12-28
  • LLM
    • LLM アルゴリズム
    • LLM サービス
    • LLM 活用記事
    • LLM データセット
    • LLM 開発
    • LLM モデル
    • LLM OpenAI社動向
    • LLM LangChain
    • LLM LlamaIndex
    • LLM その他のRetriever
    • LLM 埋め込みベクトル
  • ブログ管理
    • ネタ帳
    • 執筆済み
Powered by GitBook
On this page
  • 2022-12-05 音声認識モデル Whisper の推論をほぼ倍速に高速化した話
  • 2023-03-11 Slack上でOpenAI社のWhisper APIで文字書き起こしするSlackBot作成
  • 2023-03-28 pytorch2 + ROCm で RWKV(LLM Chatbot) と Wisper 動作確認メモ
  • 2023-01-02 WhisperX: Whisperと音素単位のASRを使って正確な音素単位のアラインメントを実行する
  • 2023-04-06 USM:100以上の言語に対応した最先端の音声AI(2/2)
  • 2023-04-21 faster-whisperてのもあるらしい
  • 2023-04-21 Whisper JAX : Whisperを70倍高速化を観測
  • 2023-05-11 Whisper JAXのデモがHugging FaceのSpaceにて公開
  • 2023-05-22 whisper-ctranslate2を試す
  • 2023-06-02 AVFormer: ゼロショットなAV-ASRを実現するために音声モデルに視覚情報を注入する
  • 2023-06-19 Fine-Tune MMS Adapter Models for low-resource ASR
  1. AIML
  2. その他

音声

2022-12-05 音声認識モデル Whisper の推論をほぼ倍速に高速化した話

  • API版ですら1時間のデータに少し時間がかかるので、課題になる場合はここら辺を見る必要がある。

2023-03-11 Slack上でOpenAI社のWhisper APIで文字書き起こしするSlackBot作成

  • slack_boltを使っている

  • 実装の多少参考にはなるはず。

2023-03-28 pytorch2 + ROCm で RWKV(LLM Chatbot) と Wisper 動作確認メモ

  • ROCmが良く分からんけどAMD GPUで動かす仕組みかな

2023-01-02 WhisperX: Whisperと音素単位のASRを使って正確な音素単位のアラインメントを実行する

  • Whisperだけでは長い発話単位なので、それで正確な発話位置がわかりそう

2023-04-06 USM:100以上の言語に対応した最先端の音声AI(2/2)

  • Whisper越えてるという話はあるが、英語でWhisperと比較してないので恣意的なものを感じる

  • 実際どうなんだろうかは要確認。

  • その他

    • Google、100以上の言語を自動認識するAI「Universal Speech Model」を公開 | TEXAL

2023-04-21 faster-whisperてのもあるらしい

  • OpenAI 公式のモデルを軽量化、独自の最適化により、最大 4 倍の高速化を実現

  • 軽いと評判の Whisper.cpp よりも高速に動作（ただしメモリは若干多め）

  • Whisper.cpp と違って、GPU による高速化の恩恵が受けられる

2023-04-21 Whisper JAX : Whisperを70倍高速化を観測

  • 一時間の音声を15秒で書き起こす

  • なおGPU, TPU駆動が前提

2023-05-11 Whisper JAXのデモがHugging FaceのSpaceにて公開

2023-05-22 whisper-ctranslate2を試す

  • 高速なやつ。GPUの方がより高速。

2023-06-02 AVFormer: ゼロショットなAV-ASRを実現するために音声モデルに視覚情報を注入する

  • AV-ASRという動画から音声認識をする研究があるが、動画と書き起こし結果のデータセットは少なく、音声側の大規模化に追い付けていない

  • なので、音声側のモデルをそのまま使って画像情報を注入するという、Flamingoと同様のアプローチを採用している

2023-06-19 Fine-Tune MMS Adapter Models for low-resource ASR

  • よくわからんかったけど、希少言語のASRに関するfine-tuningかな

  • 低リソース言語の場合、MMSのアダプタートレーニングを使用することを強く推奨とのこと

PreviousGraph NNNextCV

Last updated 1 year ago