什么是赫布学习?
赫布学习规则(Hebbian Learning Rule)由加拿大心理学家唐纳德·赫布(Donald Hebb)于1949年在其著作《行为的组织》中首次提出。 这一理论描述了神经元之间如何通过共同激活来加强彼此之间的连接,是现代神经科学和人工神经网络的重要基石。
“当细胞A的轴突足够靠近细胞B并反复或持续地参与激发它时,其中一个或两个细胞的某种生长过程或代谢变化就会发生,从而使A作为激发B的细胞之一的效率得到提高。” —— Donald O. Hebb, 1949
核心思想
赫布规则可以用一句通俗的话概括:
“一起激发的神经元会连在一起”(Neurons that fire together, wire together)。
这意味着:如果两个神经元经常同时被激活,它们之间的突触连接就会增强;反之,若很少同步激活,连接则可能减弱甚至消失。
Δwij = η · xi · xj
其中:
wij:神经元 i 到 j 的连接权重xi, xj:神经元 i 和 j 的激活值(通常为 0 或 1)η:学习率(正的小常数)
应用场景
赫布学习虽简单,却启发了众多领域的发展:
- 神经科学:解释大脑可塑性、记忆形成与学习机制。
- 人工神经网络:无监督学习算法(如Hopfield网络、自组织映射SOM)的基础。
- 计算神经学:模拟突触可塑性和神经回路演化。
- 认知心理学:理解联想学习与条件反射的生物学基础。
局限性与改进
原始赫布规则存在一些问题,例如权重可能无限增长,缺乏稳定性。为此,研究者提出了多种改进版本:
- Oja规则:引入归一化机制,防止权重爆炸。
- BCM理论:引入动态阈值,实现更复杂的可塑性行为。
- STDP(脉冲时序依赖可塑性):考虑神经元放电的时间顺序,更贴近生物现实。
趣味小实验(JavaScript 模拟)
下面是一个简化的赫布学习模拟:点击两个神经元使其“激活”,观察它们之间的连接强度变化。
—— 0.0 ——
同时点击 A 和 B 可增强连接