Delta 法則

Delta 法則（delta rule）喺機械學習上係一種用嚟計一部感知機啲權重值要點樣調整嘅方法，係反向傳播算法嘅一個特殊例子。喺得到誤差函數（error function）之後，就可以計柞 ${\displaystyle w}$ 要點調整，即係以下呢條算式嚟計出每個權重值 ${\displaystyle w_{ij}}$ 要點樣按誤差變^[1]：

${\displaystyle w_{ij}(t+1)=w_{ij}(t)+\eta {\frac {\partial E(X)}{\partial w_{ij}}}}$；${\displaystyle [4]}$ 當中

• ${\displaystyle w_{ij}(n)}$ 係指喺時間點 ${\displaystyle n}$ 嘅權重值 ${\displaystyle w_{ij}}$；
• ${\displaystyle \eta }$ 係學習率（learning rate）；
• ${\displaystyle E(X)}$ 係個誤差，反映咗喺個個案入面個神經網絡俾嘅輸出同正確輸出差幾遠；
• ${\displaystyle {\frac {\partial E(X)}{\partial w_{ij}}}}$ 係 ${\displaystyle E(X)}$ 隨住 ${\displaystyle w_{ij}}$ 嘅偏導數（partial derivative）。

如果一個以電腦程式寫嘅人工神經網絡跟呢條式（或者係類似嘅式）嚟行嘅話，佢喺計完每一個個案之後，都會計出佢裏面嘅權重值要點樣改變，並且將呢個「每個權重應該要點變」嘅訊息傳返去個網絡嗰度。而每次有個權重值改變嗰陣，佢嘅改變幅度會同「誤差值」有一定嘅關係，而且佢對計個輸出嘅參與愈大，佢嘅改變幅度會愈大^[2]－個神經網絡會一路計個案一路變，變到誤差值愈嚟愈接近零為止^[3]。

睇埋

• 感知機
• 反向傳播算法

參考資料

1. Russell, Ingrid. "The Delta Rule". University of Hartford.
2. Dreyfus, Stuart (1973). "The computational solution of optimal control problems with time lag". IEEE Transactions on Automatic Control. 18 (4): 383–385.
3. Dreyfus, Stuart E. (1990-09-01). "Artificial neural networks, back propagation, and the Kelley-Bryson gradient procedure". Journal of Guidance, Control, and Dynamics. 13 (5): 926–928.