手元のパソコンで字幕とナレーションを両方作れる？
llama.cpp 0.9.0で三つの音声機能が加わりました。オフライン文字起こし、話者ラベル、プリセット音声のナレーションを、手元の機材で試します。
商品デモの仮編集があり、その上に同僚二人の会話を録音していて、ナレーションを三行録り直す必要があります。録音を文字起こしサービスに、原稿を音声サービスに送るのはなじみのある手順です。両方を編集用のマシンで処理できれば、何度も修正しやすくなります。特に素材をそのマシンに留めたい場合に便利です。その分、処理の待ち行列、モデルファイル、品質確認を編集側で管理します。
2026年11月4日、オープンソースの推論プロジェクトllama.cppはバージョン0.9.0を公開しました。NVIDIA Nemotron 3.5 Transcribeによるオフライン文字起こし、Chatterboxによる音声合成、参照録音なしで使えるPocket TTSのプリセット音声が加わりました。リリースノートには40言語の文字起こしと、プロンプトでの文脈指定、話者の区別が記載されています。どの機能も同じ編集工程に活用できますが、パソコンと確認担当者に求められることはそれぞれ違います。 llama.cpp v0.9.0のリリースノート
ローカルでチャットボットを動かすときにllama.cppを知った人には、名前から今回の用途が限られているように聞こえるかもしれません。実際には対応する構造のモデルを動かす推論ランタイムで、互換性のあるモデルファイルを読み込み、リクエストを処理する道具がそろっています。今回の更新で、その道具で扱える仕事が広がります。音声をどこに保存し、修正をどう見せ、いつファイルを公開できると判断するかは、周りのアプリケーションが決めます。 llama.cppプロジェクト
Telli.shがリリースから案内されている公式のWindowsビルドを実行し、実際のバージョン出力を組版しました。ビルドの識別情報を確認したものです。 リリースから案内されているb12110ビルド
字幕作りは編集できる文字起こしから
同僚が未発表製品の説明を10分間録音したとします。別の同僚が途中で機能名を訂正します。ほしいのは検索できる文字起こしと、誰が何を言ったかの大まかな区分、そして最終的に正しいタイミングで出る字幕です。この三つは別々の成果物です。最初はテキスト、二つ目は編集時の注記、三つ目には時刻の調整が必要です。
Nemotron連携では最初の二つから始められます。マージされた実装は、任意の文脈指定と話者ラベル付きのオフライン文字起こしに対応します。同じ録音内で、処理区間をまたいで話者情報を引き継げます。メンテナーの変更記録によると、単語ごとの時刻とストリーミングは今回の連携範囲外です。録音が終わってから文字起こししてテキストを直し、最終成果物で必要な場合は別途、編集や字幕の工程で時間を合わせます。 Nemotron 3.5 Transcribeの連携
Telli.sh作成。ローカルで得た文字起こしを編集できます。字幕の時間を合わせるのは、テキストと話者ラベルを確認した後です。
プロンプトに文脈を与える機能は、日常会話ではめったに出ない単語を使うチームに向いています。Pine Relayという架空の機能を説明する録音で、出てきそうな名前や略語を短いリストにして渡し、次にリストなしで同じ音声を処理します。名前が正しくなったか、誰も言っていないところに挿入されたか、数字や無関係な単語が変わったかを数えます。どの項目が結果に影響したか説明できるよう、リストは小さくします。用語集は珍しい語の確認を助けるためのもので、録音の内容を書き換えるためのものではありません。
話者ラベルは別に確認します。音のきれいなインタビューなら二人を区別しやすくても、スピーカーフォンで三人目が入り、発言が重なると修正量は変わります。各人の最も長い発言に加えて、話者が切り替わる場所も聞きます。単語がすべて正しくても、重要な決定を別の人の発言として記録することがあります。録音を知る人が確認するまでは、モデルが付けたラベルと、人が特定した氏名を分けておきます。
字幕は動画と一緒に書き出し結果を確認します。文書では問題なく読める一文でも、画面からはみ出したり、大事な情報が映る前に出たり、次の人が話し始めても残ったりします。早い段階で、急なカットと短い割り込みを試しましょう。タイミングが正確な字幕ファイルが必要なら、時間合わせと修正の工程も見積もります。最終編集を別の道具で行う場合でも、最初の文字起こしが整っていることには価値があります。
最初の音声合成はプリセットで試せる
仮編集のもう一方も考えてみましょう。機能名が変わり、画面録画六本のナレーションを一行ずつ差し替えます。モデルと機材がそろっていれば、ローカルで新しい音声を作る試験の費用は抑えられます。難しいのは、周囲との音の一貫性と発音です。新しい声が前後のクリップの間で自然に聞こえ、製品名を正しく読み、映像の長さに合う必要があります。
0.9.0でChatterboxがllama.cppの対応音声合成モデルに加わりました。プロジェクトのレビューではChatterbox TurboとMultilingual V3のCUDAでの実行が報告されています。レビュー担当者は既定音声と参照音声付きの生成を試し、そのサンプルを添えました。これは特定の環境で行われた連携レビューの証拠です。実際の制作で次に知りたいのは、使う予定の文章と機材で、音声と言語が一貫するかです。 Chatterboxの対応とメンテナーの音声例
Pocket TTSには別の選択肢があります。対応モデルは内蔵音声の名前を voices として公開でき、サーバーの GET /props の応答から確認できます。クライアントは一覧にある名前を音声合成ルートに渡せます。スクリプトや小さなアプリは、読み込まれたモデルの音声一覧から選択欄を作れます。最初の試験では、まねる人物の録音を探して保存しなくてもプリセットを使えます。次の編集で同じ条件に戻せるよう、書き出しの記録にモデルと選んだ音声名を残します。 Pocket TTSのプリセット音声対応
Telli.sh作成。書き出す前に音声そのものを聞きます。プリセットでわかるのは何を指定したかで、何が出力されたかは試聴でわかります。
一般的なデモには出ない語を入れた短い原稿から始めます。製品コード、住所の形式、単位付きの数字のどれかに加え、語調が重要な一文を入れます。三行を別々に試してから、段落全体を生成します。一文ずつでは一貫して聞こえても、長い文章では重要な語が早口になることがあります。対象言語がわかる人に、まず原稿を見ずに聞いてもらい、聞こえた内容を原文と照らします。
完成音声は入力原稿や元の録音と分けて保存します。数字の読み間違いが後で見つかっても、元の編集を失わずにそのテイクだけ直せます。許諾を得たナレーターがすでにいる案件では、本人の録音と生成した候補を明示して、どちらかが気づかないうちに置き換わらないようにします。聞き取りやすく一貫した声だけが必要なときは、プリセットが手軽な選択肢になります。
ランタイムのバージョンは準備の一部
チームがすでにllama.cppを使っていれば、この更新でランタイムを乗り換える理由が一つ減ります。それでも対象機材に対応するビルド、正しいモデルファイル、Nemotronの実装で指定されているマルチモーダルプロジェクターなどの付属ファイルが必要です。重みは別にダウンロードし、独自の利用条件があります。別チームや顧客向けにまとめて配布する前に、ランタイムとモデルの両方の文書を確認します。 リリース成果物とNemotron連携の設定手順
メモリーはモデルの読み込みが終わった後、処理中に測ります。ファイルサイズでわかるのはディスク上の容量です。実行にはモデル計算、バックエンドのバッファー、中間処理の領域も必要です。デスクトップで文字起こしが始まっても、編集ソフトとGPUを共用すると動作が遅くなる場合があります。一度は動いたノートパソコンも、放熱やバックグラウンド処理の影響で四回目には時間がかかるかもしれません。実際の構成で編集ソフトを開き、システムメモリーのピークと、必要に応じてGPUメモリーを記録します。
メンテナーはNemotronのプルリクエストで、聞き取りやすい音声や会議データセットでの検証を公開しています。量子化の構成と、試験機のRTX PRO 6000 Blackwellも記載されています。結果は連携をどのように検証したかを示します。購入や導入を判断するときは、使う予定の機材と録音で測ってください。同じハードウェアでも、精度設定や言語を変えたり、発言の重なりが増えたりすると、処理時間と確認の手間のバランスが変わります。 Nemotronの検証と設定
バージョン比較は単純にします。11月6日のb12144は、CUDAの混合エキスパートの配置を変更した別のプレリリースです。音声機能の追加を判断するなら、11月4日のバージョン番号付きリリースから始め、モデルの成果物と設定を固定します。後でプレリリースを試す場合は別の実行として記録します。音声モデル、推論バックエンド、周辺アプリのどこが変化の原因かを判別しやすくなります。 11月6日のプレリリースノート
ローカル処理では、マシンに何が留まるかを具体的に定義します。デスクトップの処理がローカルサーバーを呼ぶ場合でも、周りのアプリはログを送信し、書き出しフォルダーを同期し、依存ファイルを取得するかもしれません。機密性のある録音を入れる前に、試験機か専用の準備工程で必要な実行ファイルと重みを入手します。次に問題のないクリップを使い、オフラインでどこまで完了するか確認します。元ファイル、一時データ、最終出力がどこに書き込まれるかも確認します。ランタイムは推論の境界をローカルにできますが、全体のデータ経路は残りのアプリケーションが決めます。
普段のパソコンで一つの案件を試す
- 共有してよい短い入力を二つ用意する。 二人で30～60秒を録音し、少し発言を重ね、架空の機能名を入れます。同じ名前と読みづらい数字を一つ含む短いナレーションも作ります。設定変更の効果がわかるよう、各実行で同じ入力を使います。
- ランタイムとモデルの版を固定する。 対象機材に合うv0.9.0のソースまたは案内先のb12110ビルドを選びます。モデルの入手先、ファイル名、量子化を記録します。Nemotronを
llama-serverで提供する場合、マージされた連携手順は--reasoning offを案内しています。既定のテンプレートでは文字起こしがなく推論過程だけが返る場合があるためです。連携手順では、マルチモーダルCLIではそのスイッチが不要と説明されています。本番で使う経路と同じ経路で試します。 Nemotron連携の記録 - 初回と繰り返しの時間を測る。 初回は起動から出力まで、次はモデル読み込み後に結果が出るまでを記録します。文字起こしでは処理時間を音声の長さで割り、長い録音でも待ち時間が許容範囲か見ます。メモリーのピークと、編集ソフトが反応し続けるかも記録します。ナレーションでは、一行を書き換えてから新しいテイクを聞くまでの方が重要な場合があります。
- 修正の手間で誤りを比較する。 語の欠落、数字の誤り、話者の取り違え、時刻調整が要る一文に印を付けます。修正時間も完了までの時間に含めます。ナレーションは名前、数字、間、映像への収まりを確認します。比較するのは最初に出たファイルだけでなく、修正済みの成果物です。
- 自動化の前に引き継ぎ先を決める。 誰が文字起こしを確認し、どこで字幕の時刻を合わせ、承認済みのナレーションをどう示すか決めます。最初が通ったら二本目を試します。処理に失敗した場合は入力を保持し、編集の待ち行列に失敗を表示して、人がバッチ全体をやり直さず引き取れるようにします。
表計算に準備、処理時間、修正時間、採用可否の四列を用意すると記録できます。却下理由も残します。何回か試すと、ナレーションの繰り返し編集にはローカル処理が便利でも、騒がしいグループインタビューには別の処理が必要だとわかるかもしれません。それも役に立つ結果です。時間を節約できるところで各機能を使い、代替手順が優れていた場面を記録します。
すでに性能のよい文字起こしの流れがあるなら、同じ録音と採用基準で比較します。まずはワークステーションで試作用ナレーションを作るような、移行しやすい側だけを変えられます。反対に、安定した字幕作りも、モデル提供をまとめる理由があり、新しい実装が従来の編集基準を満たすと確認できれば、後から共通のローカル連携に移せます。
今回のリリースが役立つ場面
最初に適しているのは、すでに繰り返している仕事です。チュートリアル制作チームは、動画を編集機から出す前に仮素材を文字起こしし、仮のナレーションを作ってテンポを確認できます。研究者は自分が管理する録音を編集できるテキストにし、話者ラベルを修正し、元資料として音声を残せます。小規模な開発チームは、選んだモデル、生成物、エラーが見える社内画面で両方を試せます。
個別の品質確認を保ちながら、専用ツール間の引き継ぎを減らせることが、今回の更新の大きな可能性です。文字起こしモデルは言葉を認識し、話者を区別する必要があります。音声合成モデルは原稿を正しく読み上げる必要があります。仕上がりを判断するのは編集担当者です。変わるのは、これらの作業で推論の道具と、場合によっては手元のマシンも共用できることです。
完成した録音を文字起こしやメモと一緒に見返すには、Telli.shでアップロードを始めることができます。