Support-Vector Networks

Corinna Cortes, Vladimir Vapnik, 1995, Machine Learning

About this paper

This paper is under a licence that does not allow it to be reproduced, so what is here is its front matter and a short abstract. Read it at the publisher's page.

English
Tiếng Việt

Editor: Lorenza Saitta

Abstract. The support-vector network is a new learning machine for two-group classification problems. The machine conceptually implements the following idea: input vectors are non-linearly mapped to a very high-dimension feature space. In this feature space a linear decision surface is constructed. Special properties of the decision surface ensures high generalization ability of the learning machine. The idea behind the support-vector network was previously implemented for the restricted case where the training data can be separated without errors. We here extend this result to non-separable training data.

High generalization ability of support-vector networks utilizing polynomial input transformations is demonstrated. We also compare the performance of the support-vector network to various classical learning algorithms that all took part in a benchmark study of Optical Character Recognition.

Keywords: pattern recognition, efficient learning algorithms, neural networks, radial basis function classifiers, polynomial classifiers.

Mạng vectơ hỗ trợ (Support-Vector Networks)

CORINNA CORTES

VLADIMIR VAPNIK

AT&T Bell Labs., Holmdel, NJ 07733, USA

Biên tập viên: Lorenza Saitta

Tóm tắt. Mạng vectơ hỗ trợ là một máy học mới dành cho các bài toán phân loại hai nhóm. Về mặt khái niệm, máy thực hiện ý tưởng sau: các vectơ đầu vào được ánh xạ phi tuyến vào một không gian đặc trưng có số chiều rất lớn. Trong không gian đặc trưng này, một mặt quyết định tuyến tính được xây dựng. Các tính chất đặc biệt của mặt quyết định bảo đảm khả năng khái quát hóa (generalization) cao của máy học. Ý tưởng nền tảng của mạng vectơ hỗ trợ trước đây đã được hiện thực hóa cho trường hợp hạn chế khi dữ liệu huấn luyện có thể được phân tách mà không có lỗi. Ở đây, chúng tôi mở rộng kết quả này cho dữ liệu huấn luyện không thể phân tách.

Khả năng khái quát hóa cao của các mạng vectơ hỗ trợ sử dụng các phép biến đổi đa thức trên đầu vào được chứng minh. Chúng tôi cũng so sánh hiệu năng của mạng vectơ hỗ trợ với nhiều thuật toán học cổ điển, tất cả đều đã tham gia một nghiên cứu phép đo chuẩn về nhận dạng ký tự quang học (Optical Character Recognition).

Từ khóa: nhận dạng mẫu, thuật toán học hiệu quả, mạng nơ-ron, bộ phân loại hàm cơ sở xuyên tâm, bộ phân loại đa thức.

  1. Giới thiệu

Hơn 60 năm trước, R.A. Fisher (Fisher, 1936) đã đề xuất thuật toán đầu tiên cho nhận dạng mẫu. Ông xem xét một mô hình gồm hai tổng thể có phân phối chuẩn, N(m1,Σ1)N(\mathbf{m}_1, \Sigma_1) và N(m2,Σ2)N(\mathbf{m}_2, \Sigma_2), của các vectơ x\mathbf{x} có nn chiều với các vectơ trung bình m1\mathbf{m}_1 và m2\mathbf{m}_2 và các ma trận hiệp phương sai Σ1\Sigma_1 và Σ2\Sigma_2, đồng thời chỉ ra rằng nghiệm tối ưu (Bayes) là một hàm quyết định bậc hai:

$$

F_{sq}(\mathbf{x}) = \operatorname{sign}\left[ \frac{1}{2} (\mathbf{x} - \mathbf{m}_1)^T \Sigma_1^{-1} (\mathbf{x} - \mathbf{m}_1) - \frac{1}{2} (\mathbf{x} - \mathbf{m}_2)^T \Sigma_2^{-1} (\mathbf{x} - \mathbf{m}_2) + \ln \frac{|\Sigma_2|}{|\Sigma_1|} \right].

$$

1 Introduction

This section is missing here.

2 Optimal Hyperplanes

This section is missing here.

3 The Soft Margin Hyperplane

This section is missing here.

4 The Method of Convolution of the Dot-Product in Feature Space

This section is missing here.

5 General Features of Support-Vector Networks

This section is missing here.

6 Experimental Analysis

This section is missing here.

7 Conclusion

This section is missing here.

Notes

This section is missing here.

References

  1. Aizerman, M., Braverman, E., & Rozonoer, L. (1964). Theoretical foundations of the potential function method in pattern recognition learning. Automation and Remote Control, 25:821–837.
  2. Anderson, T.W., & Bahadur, R.R. (1966). Classification into two multivariate normal distributions with different covariance matrices. Ann. Math. Stat., 33:420–431.
  3. Boser, B.E., Guyon, I., & Vapnik, V.N. (1992). A training algorithm for optimal margin classifiers. In Proceedings of the Fifth Annual Workshop of Computational Learning Theory, 5, 144–152, Pittsburgh, ACM.
  4. Bottou, L., Cortes, C., Denker, J.S., Drucker, H., Guyon, I., Jackel, L.D., LeCun, Y., Sackinger, E., Simard, P., Vapnik, V., & Miller, U.A. (1994). Comparison of classifier methods: A case study in handwritten digit recognition. Proceedings of 12th International Conference on Pattern Recognition and Neural Network.
  5. Bromley, J., & Sackinger, E. (1991). Neural-network and k-nearest-neighbor classifiers. Technical Report 11359-910819-16TM, AT&T.
  6. Courant, R., & Hilbert, D. (1953). Methods of Mathematical Physics, Interscience, New York.
  7. Fisher, R.A. (1936). The use of multiple measurements in taxonomic problems. Ann. Eugenics, 7:111–132.
  8. LeCun, Y. (1985). Une procedure d’apprentissage pour reseau a seuil assymetrique. Cognitiva 85: A la Frontiere de l’Intelligence Artificielle des Sciences de la Connaissance des Neurosciences, 599–604, Paris.
  9. LeCun, Y., Boser, B., Denker, J.S., Henderson, D., Howard, R.E., Hubbard, W., & Jackel, L.D. (1990). Handwritten digit recognition with a back-propagation network. Advances in Neural Information Processing Systems, 2, 396–404, Morgan Kaufman.
  10. Parker, D.B. (1985). Learning logic. Technical Report TR-47, Center for Computational Research in Economics and Management Science, Massachusetts Institute of Technology, Cambridge, MA.
  11. Rosenblatt, F. (1962). Principles of Neurodynamics, Spartan Books, New York. SUPPORT-VECTOR NETWORKS
  12. Rumelhart, D.E., Hinton, G.E., & Williams, R.J. (1986). Learning internal representations by backpropagating errors. Nature, 323:533–536.
  13. Rumelhart, D.E., Hinton, G.E., & Williams, R.J. (1987). Learning internal representations by error propagation. In James L. McClelland & David E. Rumelhart (Eds.), Parallel Distributed Processing, 1, 318–362, MIT Press.
  14. Vapnik, V.N. (1982). Estimation of Dependences Based on Empirical Data, Addendum 1, New York: Springer-Verlag. Received May 15, 1993 Accepted February 20, 1995 Final Manuscript March 8, 1995

Read off the page by a vision model reading the page images using olmOCR-2-7B-1025-FP8.

Read off the page by a vision model reading the page images using olmOCR-2-7B-1025-FP8. Translated into Tiếng Việt by gpt-6-astra, against glossary version 6. Translated from the English.