Support-Vector Networks

Corinna Cortes, Vladimir Vapnik, 1995, Machine Learning

About this paperEnglishbeside English

This paper is under a licence that does not allow it to be reproduced, so what is here is its front matter and a short abstract. Read it at the publisher's page.

Mạng vectơ hỗ trợ (Support-Vector Networks)

CORINNA CORTES

VLADIMIR VAPNIK

AT&T Bell Labs., Holmdel, NJ 07733, USA

Biên tập viên: Lorenza Saitta

Tóm tắt. Mạng vectơ hỗ trợ là một máy học mới dành cho các bài toán phân loại hai nhóm. Về mặt khái niệm, máy thực hiện ý tưởng sau: các vectơ đầu vào được ánh xạ phi tuyến vào một không gian đặc trưng có số chiều rất lớn. Trong không gian đặc trưng này, một mặt quyết định tuyến tính được xây dựng. Các tính chất đặc biệt của mặt quyết định bảo đảm khả năng khái quát hóa (generalization) cao của máy học. Ý tưởng nền tảng của mạng vectơ hỗ trợ trước đây đã được hiện thực hóa cho trường hợp hạn chế khi dữ liệu huấn luyện có thể được phân tách mà không có lỗi. Ở đây, chúng tôi mở rộng kết quả này cho dữ liệu huấn luyện không thể phân tách.

Khả năng khái quát hóa cao của các mạng vectơ hỗ trợ sử dụng các phép biến đổi đa thức trên đầu vào được chứng minh. Chúng tôi cũng so sánh hiệu năng của mạng vectơ hỗ trợ với nhiều thuật toán học cổ điển, tất cả đều đã tham gia một nghiên cứu phép đo chuẩn về nhận dạng ký tự quang học (Optical Character Recognition).

Từ khóa: nhận dạng mẫu, thuật toán học hiệu quả, mạng nơ-ron, bộ phân loại hàm cơ sở xuyên tâm, bộ phân loại đa thức.

  1. Giới thiệu

Hơn 60 năm trước, R.A. Fisher (Fisher, 1936) đã đề xuất thuật toán đầu tiên cho nhận dạng mẫu. Ông xem xét một mô hình gồm hai tổng thể có phân phối chuẩn, N(m1,Σ1)N(\mathbf{m}_1, \Sigma_1) và N(m2,Σ2)N(\mathbf{m}_2, \Sigma_2), của các vectơ x\mathbf{x} có nn chiều với các vectơ trung bình m1\mathbf{m}_1 và m2\mathbf{m}_2 và các ma trận hiệp phương sai Σ1\Sigma_1 và Σ2\Sigma_2, đồng thời chỉ ra rằng nghiệm tối ưu (Bayes) là một hàm quyết định bậc hai:

$$

F_{sq}(\mathbf{x}) = \operatorname{sign}\left[ \frac{1}{2} (\mathbf{x} - \mathbf{m}_1)^T \Sigma_1^{-1} (\mathbf{x} - \mathbf{m}_1) - \frac{1}{2} (\mathbf{x} - \mathbf{m}_2)^T \Sigma_2^{-1} (\mathbf{x} - \mathbf{m}_2) + \ln \frac{|\Sigma_2|}{|\Sigma_1|} \right].

$$

References

  1. Aizerman, M., Braverman, E., & Rozonoer, L. (1964). Theoretical foundations of the potential function method in pattern recognition learning. Automation and Remote Control, 25:821–837.
  2. Anderson, T.W., & Bahadur, R.R. (1966). Classification into two multivariate normal distributions with different covariance matrices. Ann. Math. Stat., 33:420–431.
  3. Boser, B.E., Guyon, I., & Vapnik, V.N. (1992). A training algorithm for optimal margin classifiers. In Proceedings of the Fifth Annual Workshop of Computational Learning Theory, 5, 144–152, Pittsburgh, ACM.
  4. Bottou, L., Cortes, C., Denker, J.S., Drucker, H., Guyon, I., Jackel, L.D., LeCun, Y., Sackinger, E., Simard, P., Vapnik, V., & Miller, U.A. (1994). Comparison of classifier methods: A case study in handwritten digit recognition. Proceedings of 12th International Conference on Pattern Recognition and Neural Network.
  5. Bromley, J., & Sackinger, E. (1991). Neural-network and k-nearest-neighbor classifiers. Technical Report 11359-910819-16TM, AT&T.
  6. Courant, R., & Hilbert, D. (1953). Methods of Mathematical Physics, Interscience, New York.
  7. Fisher, R.A. (1936). The use of multiple measurements in taxonomic problems. Ann. Eugenics, 7:111–132.
  8. LeCun, Y. (1985). Une procedure d’apprentissage pour reseau a seuil assymetrique. Cognitiva 85: A la Frontiere de l’Intelligence Artificielle des Sciences de la Connaissance des Neurosciences, 599–604, Paris.
  9. LeCun, Y., Boser, B., Denker, J.S., Henderson, D., Howard, R.E., Hubbard, W., & Jackel, L.D. (1990). Handwritten digit recognition with a back-propagation network. Advances in Neural Information Processing Systems, 2, 396–404, Morgan Kaufman.
  10. Parker, D.B. (1985). Learning logic. Technical Report TR-47, Center for Computational Research in Economics and Management Science, Massachusetts Institute of Technology, Cambridge, MA.
  11. Rosenblatt, F. (1962). Principles of Neurodynamics, Spartan Books, New York. SUPPORT-VECTOR NETWORKS
  12. Rumelhart, D.E., Hinton, G.E., & Williams, R.J. (1986). Learning internal representations by backpropagating errors. Nature, 323:533–536.
  13. Rumelhart, D.E., Hinton, G.E., & Williams, R.J. (1987). Learning internal representations by error propagation. In James L. McClelland & David E. Rumelhart (Eds.), Parallel Distributed Processing, 1, 318–362, MIT Press.
  14. Vapnik, V.N. (1982). Estimation of Dependences Based on Empirical Data, Addendum 1, New York: Springer-Verlag. Received May 15, 1993 Accepted February 20, 1995 Final Manuscript March 8, 1995

Read off the page by a vision model reading the page images using olmOCR-2-7B-1025-FP8. Translated into Tiếng Việt by gpt-6-astra, against glossary version 6. Translated from the English.