Day 80:霍普菲尔德网络
18年11月16日 · 北京理工大学-胡依梦 1354 人阅读
霍普菲尔网络
霍普菲尔是一种具有二元阈值单元和递归连接的神经网络。连接是对称的,模型有一个全局能量函数,这使得算法训练变得非常简单。
我不会深挖霍普菲尔网络,咱们来用一个小栗子来了解一下它。
这个模型被预训练用以存储011,我们设置它的单位为110并将会跟踪能量函数。
E = -(-1*1*1 + -1*1*0 + 1*1*0) = 1
如果两个单位是活跃的,它们的连线的权重将从全局能量中减去。
E = -(-1*1*0 + -1*0*0 + 1*1*0) = 0
翻转顶部单位后,全局能源减少了,这是一件好事。
E = -(-1*1*0 + -1*1*0 + 1*1*1) = -1
右下角单位再次翻转后,全局能量再次下降。该系统当前处于全局最低能量水平。此最小值表示先前存储的内存011。
霍普菲尔网络能够从它的一部分中重建一个完整的信息。看看下面的栗子,三个内存被存储在霍普菲尔网中。这些向量仅用几个位就能被完全重建出来。
算法实现
存储
重建
Python3Turtle