An introduction to neural networks patrick van der smagt

135 21 0
  • Loading ...
1/135 trang
Tải xuống

Thông tin tài liệu

Ngày đăng: 26/11/2016, 17:16

Sách cơ bản về mạng neural An Introduction to Neural NetworksSách cơ bản về mạng neural An Introduction to Neural NetworksSách cơ bản về mạng neural An Introduction to Neural NetworksSách cơ bản về mạng neural An Introduction to Neural NetworksSách cơ bản về mạng neural An Introduction to Neural NetworksSách cơ bản về mạng neural An Introduction to Neural NetworksSách cơ bản về mạng neural An Introduction to Neural Networks An introduction to Neural Ben Krose Networks Patrick van der Smagt Eighth edition November 1996 c 1996 The University of Amsterdam Permission is granted to distribute single copies of this book for non-commercial use, as long as it is distributed as a whole in its original form, and the names of the authors and the University of Amsterdam are mentioned Permission is also granted to use this book for non-commercial courses, provided the authors are noti ed of this beforehand The authors can be reached at: Ben Krose Faculty of Mathematics & Computer Science University of Amsterdam Kruislaan 403, NL{1098 SJ Amsterdam THE NETHERLANDS Phone: +31 20 525 7463 Fax: +31 20 525 7490 email: krose@fwi.uva.nl URL: http://www.fwi.uva.nl/research/neuro/ Patrick van der Smagt Institute of Robotics and System Dynamics German Aerospace Research Establishment P O Box 1116, D{82230 Wessling GERMANY Phone: +49 8153 282400 Fax: +49 8153 281134 email: smagt@dlr.de URL: http://www.op.dlr.de/FF-DR-RS/ Contents Preface I FUNDAMENTALS 11 Introduction Fundamentals 13 15 2.1 A framework for distributed representation 2.1.1 Processing units : : : : : : : : : : : 2.1.2 Connections between units : : : : : 2.1.3 Activation and output rules : : : : : 2.2 Network topologies : : : : : : : : : : : : : : 2.3 Training of arti cial neural networks : : : : 2.3.1 Paradigms of learning : : : : : : : : 2.3.2 Modifying patterns of connectivity : 2.4 Notation and terminology : : : : : : : : : : 2.4.1 Notation : : : : : : : : : : : : : : : : 2.4.2 Terminology : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : II THEORY 15 15 16 16 17 18 18 18 18 19 19 21 Perceptron and Adaline 3.1 Networks with threshold activation functions : : : : : : 3.2 Perceptron learning rule and convergence theorem : : : 3.2.1 Example of the Perceptron learning rule : : : : : 3.2.2 Convergence theorem : : : : : : : : : : : : : : : 3.2.3 The original Perceptron : : : : : : : : : : : : : : 3.3 The adaptive linear element (Adaline) : : : : : : : : : : 3.4 Networks with linear activation functions: the delta rule 3.5 Exclusive-OR problem : : : : : : : : : : : : : : : : : : : 3.6 Multi-layer perceptrons can everything : : : : : : : : 3.7 Conclusions : : : : : : : : : : : : : : : : : : : : : : : : : Back-Propagation 4.1 Multi-layer feed-forward networks : : : : 4.2 The generalised delta rule : : : : : : : : 4.2.1 Understanding back-propagation 4.3 Working with back-propagation : : : : : 4.4 An example : : : : : : : : : : : : : : : : 4.5 Other activation functions : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 23 23 24 25 25 26 27 28 29 30 31 33 33 33 35 36 37 38 CONTENTS 4.6 De ciencies of back-propagation : : : : : : : : : : : : 4.7 Advanced algorithms : : : : : : : : : : : : : : : : : : 4.8 How good are multi-layer feed-forward networks? : : 4.8.1 The e ect of the number of learning samples 4.8.2 The e ect of the number of hidden units : : : 4.9 Applications : : : : : : : : : : : : : : : : : : : : : : : Recurrent Networks 5.1 The generalised delta-rule in recurrent networks : : : 5.1.1 The Jordan network : : : : : : : : : : : : : : 5.1.2 The Elman network : : : : : : : : : : : : : : 5.1.3 Back-propagation in fully recurrent networks 5.2 The Hop eld network : : : : : : : : : : : : : : : : : 5.2.1 Description : : : : : : : : : : : : : : : : : : : 5.2.2 Hop eld network as associative memory : : : 5.2.3 Neurons with graded response : : : : : : : : : 5.3 Boltzmann machines : : : : : : : : : : : : : : : : : : Self-Organising Networks 6.1 Competitive learning : : : : : : : : : : : : : : : : : : 6.1.1 Clustering : : : : : : : : : : : : : : : : : : : : 6.1.2 Vector quantisation : : : : : : : : : : : : : : 6.2 Kohonen network : : : : : : : : : : : : : : : : : : : : 6.3 Principal component networks : : : : : : : : : : : : : 6.3.1 Introduction : : : : : : : : : : : : : : : : : : 6.3.2 Normalised Hebbian rule : : : : : : : : : : : 6.3.3 Principal component extractor : : : : : : : : 6.3.4 More eigenvectors : : : : : : : : : : : : : : : 6.4 Adaptive resonance theory : : : : : : : : : : : : : : : 6.4.1 Background: Adaptive resonance theory : : : 6.4.2 ART1: The simpli ed neural network model : 6.4.3 ART1: The original model : : : : : : : : : : : Reinforcement learning 7.1 The critic : : : : : : : : : : : : : : : : : : : : : 7.2 The controller network : : : : : : : : : : : : : : 7.3 Barto's approach: the ASE-ACE combination : 7.3.1 Associative search : : : : : : : : : : : : 7.3.2 Adaptive critic : : : : : : : : : : : : : : 7.3.3 The cart-pole system : : : : : : : : : : : 7.4 Reinforcement learning versus optimal control : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 39 40 42 43 44 45 47 47 48 48 50 50 50 52 52 54 57 57 57 61 64 66 66 67 68 69 69 69 70 72 75 75 76 77 77 78 79 80 III APPLICATIONS 83 Robot Control 85 8.1 End-e ector positioning : : : : : : : : : : : : : : : : : : : : : 8.1.1 Camera{robot coordination is function approximation 8.2 Robot arm dynamics : : : : : : : : : : : : : : : : : : : : : : : 8.3 Mobile robots : : : : : : : : : : : : : : : : : : : : : : : : : : : 8.3.1 Model based navigation : : : : : : : : : : : : : : : : : 8.3.2 Sensor based control : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 86 87 91 94 94 95 CONTENTS Vision 9.1 Introduction : : : : : : : : : : : : : : : : : : : : : : 9.2 Feed-forward types of networks : : : : : : : : : : : 9.3 Self-organising networks for image compression : : 9.3.1 Back-propagation : : : : : : : : : : : : : : : 9.3.2 Linear networks : : : : : : : : : : : : : : : : 9.3.3 Principal components as features : : : : : : 9.4 The cognitron and neocognitron : : : : : : : : : : 9.4.1 Description of the cells : : : : : : : : : : : : 9.4.2 Structure of the cognitron : : : : : : : : : : 9.4.3 Simulation results : : : : : : : : : : : : : : 9.5 Relaxation types of networks : : : : : : : : : : : : 9.5.1 Depth from stereo : : : : : : : : : : : : : : 9.5.2 Image restoration and image segmentation : 9.5.3 Silicon retina : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : IV IMPLEMENTATIONS 10.1 The Connection Machine : : : : : : : : 10.1.1 Architecture : : : : : : : : : : : 10.1.2 Applicability to neural networks 10.2 Systolic arrays : : : : : : : : : : : : : : 11.1 General issues : : : : : : : : : : : : : 11.1.1 Connectivity constraints : : : 11.1.2 Analogue vs digital : : : : : 11.1.3 Optics : : : : : : : : : : : : : 11.1.4 Learning vs non-learning : : 11.2 Implementation examples : : : : : : 11.2.1 Carver Mead's silicon retina : 11.2.2 LEP's LNeuro chip : : : : : : References Index 97 97 98 99 99 99 100 100 101 102 103 103 105 105 107 10 General Purpose Hardware 11 Dedicated Neuro-Hardware 97 : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 111 112 112 113 114 115 115 115 116 116 117 117 117 119 123 131 CONTENTS List of Figures 2.1 The basic components of an arti cial neural network : : : : : : : : : : : : : : : : 16 2.2 Various activation functions for a unit : : : : : : : : : : : : : : : : : : : : : : : : 17 3.1 3.2 3.3 3.4 3.5 3.6 3.7 4.1 4.2 4.3 4.4 4.5 4.6 4.7 4.8 4.9 4.10 5.1 5.2 5.3 5.4 5.5 Single layer network with one output and two inputs : : : : : : : : : : : Geometric representation of the discriminant function and the weights : Discriminant function before and after weight update : : : : : : : : : : The Perceptron : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : The Adaline : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : Geometric representation of input space : : : : : : : : : : : : : : : : : : Solution of the XOR problem : : : : : : : : : : : : : : : : : : : : : : : : ::::: ::::: ::::: ::::: ::::: ::::: ::::: A multi-layer network with l layers of units : : : : : : : : : : : : : : : : : : : : : The descent in weight space : : : : : : : : : : : : : : : : : : : : : : : : : : : : : Example of function approximation with a feedforward network : : : : : : : : : The periodic function f (x) = sin(2x) sin(x) approximated with sine activation functions : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : The periodic function f (x) = sin(2x) sin(x) approximated with sigmoid activation functions : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : Slow decrease with conjugate gradient in non-quadratic systems : : : : : : : : : E ect of the learning set size on the generalization : : : : : : : : : : : : : : : : : E ect of the learning set size on the error rate : : : : : : : : : : : : : : : : : : : E ect of the number of hidden units on the network performance : : : : : : : : : E ect of the number of hidden units on the error rate : : : : : : : : : : : : : : : The Jordan network : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : The Elman network : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : Training an Elman network to control an object : : : : : : : : : : : : : : : : : : : Training a feed-forward network to control an object : : : : : : : : : : : : : : : : The auto-associator network : : : : : : : : : : : : : : : : : : : : : : : : : : : : : A simple competitive learning network : : : : : : : : : : : : : : : : : : : : : : : Example of clustering in 3D with normalised vectors : : : : : : : : : : : : : : : : Determining the winner in a competitive learning network : : : : : : : : : : : : Competitive learning for clustering data : : : : : : : : : : : : : : : : : : : : : : : Vector quantisation tracks input density : : : : : : : : : : : : : : : : : : : : : : : 6.1 6.2 6.3 6.4 6.5 6.6 A network combining a vector quantisation layer with a 1-layer feed-forward neural network This network can be used to approximate functions from [...]... Transactions on Systems, Man and Cybernetics, 15, 360{375 Cited on p 78.] Barto, A G., Sutton, R S., & Anderson, C W (1983) Neuronlike adaptive elements that can solve di cult learning problems IEEE Transactions on Systems, Man and Cybernetics, 13, 834-846 Cited on pp 75, 77.] Barto, A G., Sutton, R S., & Watkins, C (1990) Sequential decision problems and neural networks In D Touretsky (Ed.), Advances... our arti cial neural systems seem to introduce an oversimpli cation of the `biological' models In this course we give an introduction to arti cial neural networks The point of view we take is that of a computer scientist We are not concerned with the psychological implication of the networks, and we will at most occasionally refer to biological neural models We consider neural networks as an alternative... implemented using a photo-detector, two FET's4 connected in series5 and one transistor (see gure 11.3) The lowest photo-current is about 10;14 A or 105 photons Vout 3.6 3.4 3.2 3.0 2.8 V out 2.6 2.4 2.2 2 3 4 5 6 7 8 Intensity Figure 11.3: The photo-receptor used by Mead To prevent current being drawn from the photoreceptor, the output is only connected to the gate of the transistor per second, corresponding... photo-receptor The photo-receptor circuit outputs a voltage which is proportional to the logarithm of the intensity of the incoming light There are two important consequences: 1 several orders of magnitude of intensity can be handled in a moderate signal level range 2 the voltage di erence between two points is proportional to the contrast ratio of their illuminance The photo-receptor can be implemented... Machines Corporation Cited on p 113.] Smagt, P van der, Groen, F., & Krose, B (1993) Robot Hand-Eye Coordination Using Neural Networks (Tech Rep Nos CS{93{10) Department of Computer Systems, University of Amsterdam (ftp'able from archive.cis.ohio-state.edu) Cited on p 90.] Smagt, P van der, Krose, B J A., & Groen, F C A (1992) Using time -to- contact to guide a robot manipulator In Proceedings of the 1992 IEEE/RSJ... far greater exibility and, not to be neglected, arbitrarily high accuracy Also, digital chips can be designed without the need of very advanced knowledge of the circuitry using CAD/CAM systems, whereas the design of analogue chips requires good theoretical knowledge of transistor physics as well as experience An advantage that analogue implementations have over digital neural networks is that they... transduced to electrical signals by photo-receptors which have a primary pathway through the triad synapses to the bipolar cells The bipolar cells are connected to the retinal ganglion cells which are the output cells of the retina The horizontal cells, which are also connected via the triad synapses to the photo-receptors, are situated directly below the photo-receptors and have synapses connected to. .. hand, the opposite can be found when considering the size of the element, especially when high accuracy is needed However, once arti cial neural networks have outgrown rules like back-propagation, high accuracy might not be needed 2 The Kircho laws state that for two resistors R1 and R2 (1) in series, the total resistance can be calculated using R = R1 + R2 , and (2) in parallel, the total resistance... wide-range ampli er which drives the resistive network towards the photo-receptor output, and an ampli er sensing the voltage di erence between the photoreceptor output and the network potential Implementation A chip was built containing 48 48 pixels The output of every pixel can be accessed independently by providing the chip with the horizontal and vertical address of the pixel The selectors can be... spatial light modulator technology on to another set of neurons Also under development are three-dimensional integrated circuits 11.1.2 Analogue vs digital Due to the similarity between arti cial and biological neural networks, analogue hardware seems a good choice for implementing arti cial neural networks, resulting in cheaper implementations which operate at higher speed On the other hand, digital approaches
- Xem thêm -

Xem thêm: An introduction to neural networks patrick van der smagt, An introduction to neural networks patrick van der smagt, An introduction to neural networks patrick van der smagt

Gợi ý tài liệu liên quan cho bạn

Nạp tiền Tải lên
Đăng ký
Đăng nhập