Meta社は、PDF文書をポッドキャストに変換するために設計されたオープンソースのツールキットである、NotebookLlamaをリリースした。これにより、開発者は構造化されたアクセス可能な PDF からオーディオへのワークフローを利用できるようになる。GoogleのNotebookLMのオープンソースの代替として、NotebookLlamaは、大規模言語モデル（LLM）やオーディオ処理の経験がなくても、PDF文書を音声コンテンツに変換する4段階のプロセスを通してユーザーをガイドする。このツールキットは、ユーザーがLLMやTTSモデルを試して、会話や音声に対応したコンテンツを作成するための実用的な方法を提供する。
NotebookLlamaのワークフローには以下が含まれる：
-
PDF前処理: Llama-3.2-1B-Instructモデルを使用して、このツールキットはPDFコンテンツをクリーンアップし、フォーマットを整えてプレーンテキストに変換し、構造的な整合性を維持する。
-
トランスクリプト生成: Llama-3.1-70B-Instructモデルは、プレーンテキストをポッドキャスト形式に適したスクリプトに作成する。このモデルは、魅力的で会話形式のテキストを生成する能力が評価されて選ばれている。
-
ポッドキャストのドラマ化: Llama-3.1-8B-Instructモデルは、トランスクリプトをさらに調整し、音声オーディエンスに対する会話的な魅力を高める。
-
テキスト音声変換 (TTS): 最終的な音声は、Parler-ttsおよびbark TTSモデルを使用して生成され、異なる話者をシミュレートするために調整されたプロンプトが用いられている。
/filters:no_upscale()/news/2024/11/meta-notebook-llama/en/resources/1notebookllama-1731858580641.png)
(出典：NotebookLlama GitHubリポジトリ）
NotebookLlamaを実行するには、GPUサーバーか、大きなモデル用のAPIプロバイダーが必要だ。例えば70Bのモデルでは、約140GBのメモリが必要となる。このツールキットはGitHubから入手可能で、ユーザーはモデルにアクセスするためにHugging Faceにログインする必要がある。
NotebookLlamaはリリース以来、コミュニティから重要なフィードバックを受けている。ユーザーはオープンソースモデルの柔軟性を高く評価する一方で、Googleの独自システムと比較した場合、特に音声品質における限界を指摘する声もあった。
AIが生成したテキストの品質に対して、John K. Moran氏はこう付け加えた：
NotebookLlamaは魅力的な機能を提供していますが、AIが生成したコンテンツに幻覚が見られるという現在進行中の問題は依然として大きな懸念事項です。特にドキュメントの生成やコードの分析に差異には、正確性がもっとも重要だ。NotebookLlamaもNotebookLMも、開発者やユーザーの信頼を得るためには、この点を優先する必要があるでしょう。
NotebookLlamaの今後の改良点としては、Text-to-Speechモデルを改良してより自然な音声を実現することや、2つのLLMを使って対話型のポッドキャストスクリプトを作成し、会話感覚を高める可能性を探ることなどがある。また、405Bのような大型モデルを使って、トランスクリプトの品質を向上させる実験も行っている。その他にも、ウェブサイトやYouTubeへのリンクなど、より幅広い入力オプションの追加や、プロンプトのデザインの改善などが予定されている。
Meta社は、モデルの選択とプロンプトの調整に関する実験を奨励している。コミュニティは、PRを作成し、貢献するよう招待されている。