首页
关于FITEE
文章在线
作者中心
审者中心
特色资源
订阅与服务
切换中文
Previous
|
Next
深層ニューラルネットワークの解釈の第一原理:等価相互作用理論に基づく学習のダイナミクス分析
Huilin ZHOU
,
Qihan REN
,
Junpeng ZHANG
,
Quanshi ZHANG
,
DOI:
10.1631/FITEE.2401025
Abstract
現在の深層学習の解釈可能性に関するほとんどの研究は経験主義であり、深層ニューラルネットワークの内部メカニズムを異なる観点から包括的に厳密に説明する第一原理が存在するかどうかは、解決すべき中核科学問題の一つとなっている。本論文では、等価相互作用理論が深層ニューラルネットワークの第一原理の解釈分析に適用可能かについて探究する。私たちは、この理論が強力な解釈能力を持つ理由は、主に以下の4つの側面で現れると考えています:(1)深層ニューラルネットワークの意思決定ロジックを一連の記号化された相互作用に変換する新しい公理体系を構築したこと;(2)深層学習のさまざまな特徴を同時に解釈することができ、ネットワークの汎化能力、抵抗性、表現のボトルネックおよび学習の動的性を含む;(3)深層学習アルゴリズムを統一的に解釈できる数学ツールを提供し、さまざまな経験的帰属方法や対抗移動メソッドの背後のメカニズムを体系的に解釈できること;(4)モデリングプロセス中の相互作用の複雑さの二段階の動的変化を分析し、学習段階での深層ニューラルネットワークのモデリングの複雑さおよび汎化能力と抵抗性の関連を深く明らかにすることにより、深層ニューラルネットワークの汎化能力および抵抗性の学習段階での内在的変化のメカニズムを深く明らかにしました。
Keywords
第一原理の解釈; 等価相互作用理論; 二段階の動的相互作用; 学習のダイナミクス
READ MORE