Học các biểu diễn bằng cách lan truyền ngược sai số
David E. Rumelhart, Geoffrey E. Hinton† & Ronald J. Williams
- Institute for Cognitive Science, C-015, University of California, San Diego, La Jolla, California 92093, USA
† Department of Computer Science, Carnegie-Mellon University, Pittsburgh, Philadelphia 15213, USA
Chúng tôi mô tả một thủ tục học mới, lan truyền ngược, cho các mạng gồm các đơn vị giống nơ-ron. Thủ tục này liên tục điều chỉnh các trọng số của các kết nối trong mạng nhằm giảm thiểu một phép đo sự khác biệt giữa vectơ đầu ra thực tế của mạng và vectơ đầu ra mong muốn. Do các điều chỉnh trọng số, các đơn vị 'ẩn' bên trong không thuộc về đầu vào hoặc đầu ra dần biểu diễn các đặc trưng quan trọng của miền tác vụ, và các tính quy luật trong tác vụ được nắm bắt bởi sự tương tác của các đơn vị này. Khả năng tạo ra các đặc trưng mới hữu ích phân biệt lan truyền ngược với các phương pháp trước đó, đơn giản hơn như thủ tục hội tụ perceptron¹.
Đã có nhiều nỗ lực nhằm thiết kế các mạng nơ-ron tự tổ chức. Mục tiêu là tìm ra một quy tắc sửa đổi khớp thần kinh mạnh mẽ cho phép một mạng nơ-ron được kết nối tùy ý phát triển một cấu trúc bên trong phù hợp với một miền tác vụ cụ thể. Tác vụ được đặc tả bằng cách cung cấp vectơ trạng thái mong muốn của các đơn vị đầu ra cho mỗi vectơ trạng thái của các đơn vị đầu vào.