分類および回帰問題向けにグローバルに最適化された極限学習マシンのブースティング リッジ

Scientific Reports volume 13、記事番号: 11809 (2023) この記事を引用

191 アクセス

メトリクスの詳細

この論文では、エクストリーム ラーニング マシン (ELM) コミュニティにおけるブースティング リッジ (BR) フレームワークを調査し、ベース学習者をグローバル アンサンブルとしてトレーニングする新しいモデルを紹介します。 Extreme Learning Machine の単一隠れ層ネットワークのコンテキストでは、隠れ層のノードはトレーニング前に事前構成され、出力層の重みに対して最適化が実行されます。 基本学習器として ELM (BRELM) を使用した BR アンサンブルの以前の実装では、すべての ELM の隠れ層のノードが修正されました。 アンサンブル学習方法では、より多くの基本学習器がアンサンブルに追加されるにつれて、アンサンブルの残留誤差を順次減少させることによって、異なる出力層係数を生成します。 他のアンサンブル手法と同様に、サイズやパフォーマンスなどのアンサンブル基準を満たすまで基本学習者が選択されます。 この論文では、BR フレームワークにおけるグローバル学習方法を提案します。この方法では、基本学習器が段階的に追加されるのではなく、すべてが 1 つのステップで計算され、アンサンブルのパフォーマンスが求められます。 この方法では、(i) 隠れ層の構成が基本学習器ごとに異なること、(ii) 基本学習器が順次ではなく一度に最適化されるため飽和が回避されること、および (iii) アンサンブル手法には欠点がないことを考慮しています。強力な分類器の操作について説明します。 この方法を元の BRELM 実装および他の最先端のアルゴリズムと比較するために、さまざまな回帰および分類ベンチマーク データセットが選択されています。 特に、分類用に 71 個のデータセット、回帰用に 52 個のデータセットが、異なるメトリクスを使用して検討され、サイズ、クラス数、またはそれらの不均衡な性質などのデータセットのさまざまな特性が分析されました。 統計的テストにより、すべての実験シナリオにおける回帰問題と分類問題の両方において、提案された方法の優位性が示されています。

過去 10 年間で、エクストリーム ラーニング マシン (ELM)1 は、ブレイン コンピューター インターフェイス 2、転がり軸受の残りの耐用年数の予測 3、大きな効果をもたらすウイキョウの起源検出など、困難な問題を機械学習する際に人気の方法論となりました。食品の風味付けにおける重要性4、新型コロナウイルス感染症（COVID-19）と肺炎の予測5、脳とコンピュータのインターフェースのためのEGG分類6、水道ネットワーク管理7、小麦収量予測8など。 ELM 理論は、隠れ層パラメータ、つまり単一隠れ層フィードフォワード ネットワークの重みとバイアスを調整する必要はなく、トレーニング データセットとは独立してランダムに生成できると主張しています9。 したがって、最小二乗推定解を使用して、出力重みのみが 1 つのステップで計算されます。 このランダムな初期化により、ELM のトレーニング速度は、バックプロパゲーション 10,11 に基づくニューラル ネットワークの従来のソルバーと比較して、パフォーマンスを損なうことなく、さらには向上するだけで効率的です。

ELM モデルの欠点の 1 つは、特徴の非線形の組み合わせがランダムに探索されるため、隠れ層に多数のニューロンが必要になることです 12。 このため、計算時間やアルゴリズムの複雑さを増加させることなく、このランダム性を軽減するためのいくつかの方法 (枝刈り 13、群最適化 14、15、アンサンブル学習方法など) が研究されてきました。

これに関連して、ELM モデル用のいくつかのアンサンブル手法が提案されています。たとえば、回帰用のアンサンブル 16、ビッグデータ分類用のファジー アンサンブル 17、時系列予測用のディープ アンサンブル 18、誤差フィードバック付きインクリメンタル Meta-ELM 19、または不均衡なデータセット用の加重カーネル ELM アンサンブル 20 などです。 さらに、多くの ELM アンサンブル手法は、海洋波高の予測 21、人間の活動認識 22、近赤外分光法の校正 23、鳥のさえずり認識 24 など、現実世界の問題に適用されています。 一般に、アンサンブルは、アンサンブル学習フレームワークでは基本学習器として知られる分類子または回帰子の混合を使用して汎化誤差を改善することを目的としています。 パフォーマンスの向上は、基本予測子の多様性に関連しています。つまり、アンサンブルの一般化には、基本学習者の意見ができるだけ異なることが不可欠です 25。 個々の予測を組み合わせる方法はたくさんあります。 したがって、これらのアンサンブルの効率を向上させるために、Bagging26、Boosting27、ローカル線形エキスパートを使用した増分学習システム 28、または L2 損失関数を備えた関数型勾配降下法アルゴリズムから構築された Boosting のバリエーションなど、いくつかの投票方法が提案されています 29。 Bagging と Boosting として知られるアンサンブル手法は、主に適用の容易さとアンサンブルのパフォーマンスの理由から、最も広く使用されているアプローチです 30。 これらのアンサンブル手法の鍵は、多様性を生み出すためのトレーニング データにあります。 このようにして、基本予測子に関連する最適化問題に対するさまざまな解決策が、データ サンプリングを通じて暗黙的に求められます 31。