Facebookがオープンソースで提供するディープラーニングフレームワークのPyTorchが、バージョン1.9のリリースを発表した。科学計算やモバイルのサポート、分散トレーニングなどが強化されている。全体として、新リリースには、1.8リリース以降の3,400以上のコミットが含まれている。
PyTorchチームが先日のブログ記事で、リリースのおもな機能を紹介している。新リリースでは、オーディオ処理の中心的コンポーネントであるComplex Autograd機能と、Numpyの線形代数モジュールの実装を含むtorch.linalgモジュールが安定(satble)状態に移行した。SciPyのspecialモジュールをベースとするtorch.specialモジュールなどの新機能のベータ版や、TorchElastic、ZeroRedundancyOptimizer、RPCでのCUDAのサポートといった分散トレーニング関連の改良も含まれている。それら以外にも、Mobile Interpreterのベータ版、PyTorchランタイムの軽量バージョンなど、モバイルアプリケーション関連でいくつかのアップデートがある他、推論モデルでの使用時に"大幅なスピードアップ"を提供する、新しいInference Mode APIも提供される。
PyTorchのlinargモジュールは、Numpyの線形代数モジュールを"ドロップイン"で置き換えることで、PyTorchのアクセラレーションとautogradをサポートするように設計されている。提供されるモジュールには、NumPy APIを再現する26のオペレータに加えて、既存のPyTorchオペレータよりも"高速で使い勝手のよい"バージョンが含まれる。NumPyはPythonの行列演算における"デファクトスタンダード"であるため、既存の科学計算コードで開発を行っている開発者は、NVIDIAとの共同開発によってCUDAとGPUを活用した高速な行列代数計算が可能になった、PyTorch実装のアドバンテージを享受することが可能になる。新しいspecialモジュールも同様に、一般的な科学計算APIであるSciPyのspecialモジュールを実装しており、Bessel関数や楕円関数、一般的な確率分布といった、高度な数学関数を数多く提供する。
新しいMobile Interpreterは、フレームワークに"最も多く要望されていたもののひとつ"だった。このInterpreterは、モバイルやエッジデバイスといった、リソースに制限のあるプラットフォームにデプロイされるディープラーニングモジュールのサイズを削減するもので、モデルサイズを最大75パーセント縮小することができる。実際にPyTorchチームは、数百万のパラメータを持つMobileNetV2モデルを2.6MBにまで圧縮した。1.9リリースでは、iOSおよびAndroid用のビルド済Interpreterが提供されており、アプリへのインテグレーションが容易になっている。モバイル用のTorchVisionライブラリと、iOSおよびAndroid用のいくつかのデモアプリも同梱される。
PyTorchの分散ワーカプロセスを管理するTorchElasticライブラリが、独立的なプロジェクトからPyTorchコアに移行された。TorchElasticはDeepSpeedやPyTorch Lightningなど、いくつかの大規模なPyTorchプロジェクトで使用されている。さらに新リリースには、大規模モデルにおけるメモリ要件を低減するMicrosoftのZeroReduncdancyOptimizerや、分散クラスタ内のワーカ間の通信チャネルを効率化するCUDA RPCのベータ実装も導入されている。
今回のリリースに関するReddit上の議論では、あるユーザが新しいInference Modeに対して、次のような失望を述べている。
TensortRTのようなものになると期待していたのですが、全然違いました。しかも、現時点ではC++しか使えないという ... Torch2TRT的なものをTorch自体に移行して、TensorRTで実現されているようなアクセラレーションが簡単に使えるようになれば、本当にありがたいのですが。
PyTorchのコードとバージョン1.9のリリースノートは、GitHubで公開されている。