联结主义

创造一个人造的神经网络

然而，直到1954年，贝尔蒙特法利和韦斯利克拉克麻省理工学院成功跑第一个人工神经网络-尽管受限于计算机内存不超过128神经元．他们能够训练他们的网络识别简单的模式．此外，他们还发现，在一个经过训练的网络中，随机破坏多达10%的神经元并不会影响网络的性能——这是一个特征让人联想到大脑承受手术、事故或疾病造成的有限损伤的能力。

图中描述的简单神经网络说明了连接主义的中心思想。神经网络的五个神经元中有四个用于输入，第五个神经元(每个神经元都与之相连)用于输出。每个神经元要么激活(1)要么不激活(0)。每个连接导致N，即输出神经元，有一个“权重”。什么叫做总加权输入N是通过将所有连接的权重相加来计算的N来自正在放电的神经元。例如，假设只有两个输入神经元，X而且Y他们正在开火。由于权重的连接从X来N1.5和重量的连接是从Y来N是2，那么总加权输入到N是3.5。如图所示，N被解雇了阈值为4。也就是说，如果N的总加权输入等于或超过4，则N火灾;否则,N不开火。举个例子，N如果唯一的输入神经元是X而且Y,但N是否会着火X，Y,Z所有的火。

训练网络包括两个步骤。首先，外部代理输入模式并观察的行为N．其次，agent根据规则调整连接权重:

1. 如果实际输出为0，期望输出为1，则将每个连接的权重固定增加少量N来自正在放电的神经元(因此更有可能N将在下一次网络被给予相同的模式时发射);
2. 如果实际输出为1，而期望输出为0，则从正在放电的神经元中减少导致输出神经元的每个连接的权重(从而使输出神经元在下一次网络被给定该模式作为输入时不太可能放电)。

外部代理(实际上是一个计算机程序)对训练样本中的每个模式进行这两步过程，然后重复多次。在这些重复过程中，形成了一个连接权重模式，使网络能够正确地响应每个模式。引人注目的是学习过程完全是机械的，不需要人为干预或调整。连接权重会自动增加或减少一个恒定的量，并且完全相同的学习过程适用于不同的任务。

感知器

1957年弗兰克Rosenblatt康奈尔航空实验室的康奈尔大学在伊萨卡,纽约他开始研究他称之为感知器的人工神经网络。他通过对神经网络特性的实验研究(使用计算机模拟)和详细的数学分析，对人工智能领域做出了重大贡献。罗森布拉特是个有魅力的传播者，很快就有许多研究小组在美国感知器学习。Rosenblatt和他的追随者称他们的方法为连接主义者，以强调在学习神经元之间连接的创建和修改的重要性。现代研究人员采用了这个术语。

Rosenblatt的贡献之一是推广了Farley和Clark只应用于两层网络的训练过程，这样该过程就可以应用于多层网络。Rosenblatt使用了“反向传播误差修正”一词来描述他的方法。该方法经过了实质性的改进扩展许多科学家，和术语反向传播在联结主义中被广泛使用。

共扼动词

在加州大学圣地亚哥分校(University of California at San Diego)进行的一项著名的连接主义者实验(发表于1986年)中，大卫·鲁默尔哈特(David Rumelhart)和詹姆斯·麦克利兰(James McClelland)训练了一个由920个人工神经元组成的网络，这些神经元被安排在两层460个神经元中，以形成英语动词的过去时。动词的词根形式来，看,睡眠-被呈现给一层神经元，即输入层。一个监督计算机程序观察输出神经元层的实际响应与期望响应之间的差异来了然后按照上面描述的程序机械地调整整个网络的连接，给网络一个朝着正确响应方向的轻微推动。大约400个不同的动词一个接一个地呈现给网络，并且在每次呈现后调整连接。整个过程使用相同的动词重复大约200次，之后网络可以正确地形成许多不熟悉的动词和原始动词的过去时。例如，当第一次出现在警卫，该网络回应道守卫；与哭泣，哭了；与抓住，在；和滴，滴(complete with doublep)．这是一个涉及泛化的学习的显著例子。(不过，有时英语的独特性对这个网络来说太大了，于是它就形成了会抗议从蹲，运从形状,membled从邮件．)

连接主义的另一个名字是并行分布式处理，哪一个强调两个重要的特征。首先，大量相对简单的处理器——神经元——并行运作。其次，神经网络以分布式的方式存储信息，每个单独的连接都参与存储许多不同的信息项。使过去式网络得以形成的诀窍哭了从哭泣例如，它不是存储在网络中的一个特定位置，而是分布在整个训练过程中形成的连接权重模式中。人脑似乎也以一种分布式的方式存储信息，连接主义的研究正在试图理解它是如何做到这一点的。

其他神经网络

类似神经元计算的其他工作包括:

• 视觉感知．网络可以从视觉上识别人脸和其他物体数据．由John Hummel和Irving Biederman设计的神经网络明尼苏达大学能从简单的线条图中辨认出大约10个物体。该网络能够识别包括马克杯和煎锅在内的物体，即使它们是从不同角度绘制的。麻省理工学院的Tomaso Poggio研究的网络能够识别从不同角度绘制的弯曲金属丝形状，从不同角度拍摄并表现出不同表情的人脸，以及卡通画中带有灰度阴影表示深度和方向的物体。
• 语言处理．神经网络能够将手写和打印的材料转换成电子文本。美国国税局(Internal Revenue Service)已经委托开发了一个类神经元系统，可以自动读取纳税申报单和信件。神经网络还可以将语音转换为打印文本，将打印文本转换为语音。
• 财务分析．神经网络被越来越多地用于贷款风险评估、房地产估值、破产预测、股价预测等业务应用。
• 医学．医学应用包括检测肺结节和心 心律失常预测药物不良反应。
• 电信．电信神经网络的应用包括控制的电话交换网络和回波消除调制解调器和卫星链接。