比例道

月に1回更新します

Straight-Through Estimator

Straight-Through Estimatorが分からなかったので調べてみた.八谷大岳の覚え書きブログには

”絶対値が1以下の勾配のみ用いて更新する”

とある.Quoraには

you just estimate that the incoming gradient to a thresholder is equal to the outgoing gradient.

とある.この二つが同じことを言っているのかどうか分からない.論文の付録にはこんなことが書いてあった.

sigm

アクティベーション(活性化関数の出力)がhiだ.aiはニューロンの出力.Lは損失関数.ziは何だろう?