トロント大学教授でGoogle BrainのエンジニアリングフェローであるGeoffrey Hinton氏は、最近、ニューラルネットワークのトレーニング手法として、バックプロパゲーションの代わりに、ネットワーク内のデータの2回のフォワードパスを使用してモデルの重みを更新するForward-Forwardアルゴリズム（以降、FFアルゴリズム）に関する論文を発表した。
Hinton氏はこのアルゴリズムの動機として、標準的なバックプロパゲーション学習の欠点である、学習中に微分を計算しアクティベーション値を保存するために、フォワードパスでの計算を完全に把握する必要があることに対処することを挙げている。Hinton氏の洞察は、最適化すべき目的関数が正反対の入力データの2つのフォワードパス-1つはポジティブ、もう1つはネガティブ-を使うことであった。Hinton氏は、FFを用いて訓練したネットワークが、バックプロパゲーションを用いて訓練したネットワークと同程度にコンピュータビジョン（CV）タスクを実行できることを示した。Hinton氏は以下のように述べている。
FFアルゴリズムはバックプロパゲーションと同等の速度であるが、Forward計算を正確に行えなくても使用できる利点がある。また、ニューラルネットワークを通して連続的なデータをパイプライン処理しながら学習でき，そのときニューロン活動を保存したり、誤差微分を伝播するために停止したりする必要もない...FFアルゴリズムは，大脳皮質における学習のモデルとして、また強化学習に頼らずに低コストでアナログハードウェアを利用する方法として，バックプロパゲーションより優れていると考えられる。
人工ニューラルネットワーク（ANN）は脳の数学的モデルに基づいているが、これらのネットワークの学習に用いられる標準的なバックプロパゲーション・アルゴリズムは、既知の生物学的プロセスには基づいていない。生物学的にありえないことに加え、バックプロパゲーションには前述のような計算上の欠点がある。Hinton氏は、バックプロパゲーションを用いない強化学習（RL）を用いてANNを訓練できるが、この手法は "何百万、何十億ものパラメータを含む大規模なネットワークではうまくスケールできない"と指摘している。2021年、InfoQは、バックプロパゲーションの結果を正確に再現できるゼロ発散推論学習（Z-IL）と呼ばれる、生物学的に妥当なバックプロパゲーションの代替手段を取り上げた。
Hinton氏のFFアルゴリズムは、バックプロパゲーション学習の前方-後方パスを、"互いに全く同じように動作する "2つのフォワードパスに置き換えたものである。最初のフォワードパスは、トレーニングセットからの正のデータに対して動作し、この入力が層の値の良し悪しを改善するようにネットワークの重みが調整される。2つのフォワードパスでは、ネットワークに、データセットから取得したのではない、生成された否定的な例を与える。この入力はレイヤーの良さを減少させるようにネットワークの重みを調整する。
Hinton氏はFFを用いて、MNISTとCIFARのデータセットでCVタスクを実行するいくつかのニューラルネットワークを学習させた。これらのネットワークは比較的小さく、2つか3つの隠れ畳み込み層を含み、100エポック未満で行い、テストデータセットで評価したところ、FFで学習したネットワークは、バックプロパゲーションで学習したネットワークよりも「わずかに劣る」程度の結果だった。
Nebuly社のCTOであるDiego Fiori氏は、Hinton氏のFFアルゴリズムを実装し、その結果をTwitter上で議論している。
Hinton氏の論文は2つの異なるFFアルゴリズムを提案しており、私はそれをBaseとRecurrentと呼んでる。その名前とは裏腹に、実はBaseがもっともパフォーマンスの高いアルゴリズムである理由を見てみよう。Base FFアルゴリズムは、従来のバックプロパゲーションよりもはるかにメモリ効率が良く、ディープニューラルネットワークでは最大45%のメモリ削減が可能だ。
FioriはFFの実装をGitHubでオープンソース化した。また、モントリオール大学の博士課程に在籍するMohammad Pezeshki氏も自身の実装をオープンソース化した。