Straight-Through Estimator
Straight-Through Estimatorが分からなかったので調べてみた.八谷大岳の覚え書きブログには
”絶対値が1以下の勾配のみ用いて更新する”
とある.Quoraには
you just estimate that the incoming gradient to a thresholder is equal to the outgoing gradient.
とある.この二つが同じことを言っているのかどうか分からない.論文の付録にはこんなことが書いてあった.