InfoQ ホームページ Neural-Networks に関するすべてのコンテンツ
-
EleutherAIが200億パラメータAI言語モデルのGPT-NeoX-20Bをオープンソース化
EleutherAIの研究者はGPT-NeoX-20Bをオープンソース化した。これは、GPT-3に似た200億パラメーターの自然言語処理（NLP）AIモデルである。このモデルは、公開されている825GBのテキストデータでトレーニングされており、同様のサイズのGPT-3モデルに匹敵するパフォーマンスを備えている。
-
ワシントン大学がAIファインチューニングアルゴリズムのWISE-FTをオープンソース化
ワシントン大学（UW）、Google Brain、コロンビア大学の研究者チームは、ファインチューニングのための重み空間アンサンブル（WiSE-FT）をオープンソース化した。これは、分布シフト時のロバスト性を向上させるファインチューニングAIモデルのためのアルゴリズムである。いくつかのコンピュータービジョン（CV）ベンチマークでの実験では、WISE-FTの精度が最大6パーセントポイント向上したことが示されている。
-
大学の研究者が機械学習のコンピューティングトレンドを調査
アバディーン大学、MIT、そして他のいくつかの機関の研究者チームが、機械学習（ML）モデル向けの過去のコンピューティング需要のデータセットをリリースした。このデータセットには、123の重要なモデルのトレーニングに必要な計算が含まれている。分析によると、2010年以降、トレンドが大幅に上昇している。
-
WaymoがBlock-NeRF 3Dビュー合成ディープラーニングモデルをリリース
Waymoは、自動運転車によって収集された画像から再構築された大規模な3Dワールドビュー合成のためのBlock-NeRFと呼ばれる画期的なディープラーニングモデルをリリースした。NeRFには、ニューラルネットワークで表面と体積の表現をエンコードする機能がある。
-
MetaがマルチモーダルAIアルゴリズムのdata2vecをオープンソース化
Meta AIは最近、data2vecをオープンソース化した。画像、テキスト、音声音声データに関する自己監視型ディープラーニングのための統合フレームワークだ。一般的なベンチマークで評価すると、data2vecを使ってトレーニングされたモデルは、モダリティ固有の目的でトレーニングされた最先端のモデルと同等かそれ以上のパフォーマンスを達成している。
-
GitHubが機械学習を使って脆弱性コードスキャンを拡張した方法
GitHubは、機械学習技術をルールベースのセキュリティコードスキャン機能に適用し、既存のルールから新しいルールを自動的に推測することで、あまり一般的ではない脆弱性パターンにその機能を拡張できることを期待している。
-
DeepMindが量子化学AIモデルのDM21をオープンソース化
Googleの子会社であるDeepMindの研究者が、DM21をオープンソース化した。これは、電子密度を化学相互作用エネルギーにマッピングするためのニューラルネットワークモデルである。これは量子力学的シミュレーションの重要なコンポーネントである。DM21は、いくつかのベンチマークで従来のモデルよりも優れている。PySCFシミュレーションフレームワークの拡張として利用できる。
-
アリババがAutoMLアルゴリズムのKNASをオープンソース化
アリババグループと北京大学の研究者はカーネルニューラルアーキテクチャ検索（KNAS）をオープンソース化した。これは、トレーニングなしで提案されたアーキテクチャを評価できる効率的な自動機械学習（AutoML）アルゴリズムだ。KNASは、モデル品質のプロキシとして勾配カーネルを使用し、ベースラインとなる方法と比べて桁違いに少ない計算能力で済む。
-
LambdaML: 深層ネットワークトレーニングにサーバレスを使うメリットとデメリット
「サーバレス機械学習トレーニングの謎を解くために」というタイトルの新しい研究は、サーバレスプラットフォームを活用して、ディープネットワークのトレーニングの実験的分析を提供することを目的としている。トレーニングに使われる FaaS は、学習アルゴリズムの分散性と集約ステップに課題がある。結果は、FaaS は (軽量モデルの場合に) より高速である可能性がありますが、IaaS よりも安価ではないことを示している。
-
Meta AIの畳み込みネットワークのアップグレードにより、画像分類が改善
Meta AIは改良された新世代の畳み込みネットワークをリリースした。Image-Net top-1データセットで87.8％の精度の最先端のパフォーマンスを達成し、オブジェクト検出パフォーマンスを評価できるCOCOデータセットでSwin Transformersを上回った。新しい設計とトレーニングのアプローチは、Swin Transformersモデルから着想を得ている。
-
継続的な深層学習の評価：画像分類のための新しいベンチマーク
継続的な学習は、ディープネットワークトレーニングの反復全体で知識を保持することを目的としている。「CLEARベンチマーク：実世界の画像に関する継続的な学習」というタイトルの新しいデータセットが最近公開された。この研究の目的は、継続的な学習モデルをより現実的な比較をするために、オブジェクトの自然な時間進化を伴う一貫した画像分類ベンチマークを確立することである。
-
OpenAIが質問応答AIのWebGPTを発表
OpenAIはWebGPTを開発した。GPT-3に基づく長い形式の質問応答用のAIモデルである。WebGPTは、Web検索クエリを使用して、その応答のサポートするリファレンスを収集する。Redditの質問に対する回答について、人間の審査員が69％の確率で、最高投票の回答よりも好んだ。
-
DeepMindが天気予報AIである降水のDeep Generativeモデルをリリース
DeepMindはDeep Generative Models of Rainfall（DGMR）のデータセットとトレーニング済みモデルスナップシ���ットをオープンソース化した。短期の降水量予測用のAIシステムだ。58人の専門気象学者が、他の既存の方法との比較で実施した評価で、DGMRはテストケースの89％で精度と有用性で1位にランクインした。
-
MITの研究者がディープラーニングの計算負荷を調査
MIT、延世大学、ブラジリア大学の研究者チームが新しいWebサイトComputer Progressを立ち上げた。1,000を超える深層学習研究論文の計算負荷を分析するものだ。このサイトのデータにより、計算負荷が予想よりも速く増加していることが示されている。アルゴリズムにはまだ改善の余地があることを示している。
-
Facebook、ディープラーニングモデルの初期化を高速にするGHN-2 AIをオープンソースとして公開
Facebook AI Research(FAIR)とゲルフ大学(University of Guelph)の共同チームは、ディープラーニング・ニューラルネットワークの初期パラメータを予測するGraph HyperNetworks(GHN-2)メタモデルの強化版をオープンソースとして公開した。GHN-2は単一CPU上で1秒未満で動作し、CIFAR-10データセット上において、追加的なトレーニングを必要とせず、最高77パーセントのtop-1精度でコンピュータビジョン(CV)ネットワークの値を予測することができる。