The Anatomy of a Large-Scale Hypertextual Web Search Engine

Sergey Brin, Lawrence Page, 1998, Computer Networks and ISDN Systems

About this paper

This paper is under a licence that does not allow it to be reproduced, so what is here is its front matter and a short abstract. Read it at the publisher's page.

English
Tiếng Việt

The anatomy of a large-scale hypertextual Web search engine 1^1

Sergey Brin 2^2, Lawrence Page ∗,2^*,2

Computer Science Department, Stanford University, Stanford, CA 94305, USA

Abstract

In this paper, we present Google, a prototype of a large-scale search engine which makes heavy use of the structure present in hypertext. Google is designed to crawl and index the Web efficiently and produce much more satisfying search results than existing systems. The prototype with a full text and hyperlink database of at least 24 million pages is available at http://google.stanford.edu/

To engineer a search engine is a challenging task. Search engines index tens to hundreds of millions of Web pages involving a comparable number of distinct terms. They answer tens of millions of queries every day. Despite the importance of large-scale search engines on the Web, very little academic research has been done on them. Furthermore, due to rapid advance in technology and Web proliferation, creating a Web search engine today is very different from three years ago. This paper provides an in-depth description of our large-scale Web search engine — the first such detailed public description we know of to date.

Apart from the problems of scaling traditional search techniques to data of this magnitude, there are new technical challenges involved with using the additional information present in hypertext to produce better search results. This paper addresses this question of how to build a practical large-scale system which can exploit the additional information present in hypertext. Also we look at the problem of how to effectively deal with uncontrolled hypertext collections where anyone can publish anything they want. © 1998 Published by Elsevier Science B.V. All rights reserved.

Keywords: World Wide Web; Search engines; Information retrieval; PageRank; Google

Giải phẫu của một công cụ tìm kiếm Web siêu văn bản quy mô lớn 1^1

Sergey Brin 2^2, Lawrence Page ∗,2^*,2

Khoa Khoa học Máy tính, Đại học Stanford, Stanford, CA 94305, USA

Tóm tắt

Trong bài báo này, chúng tôi trình bày Google, một nguyên mẫu của một công cụ tìm kiếm quy mô lớn sử dụng nhiều cấu trúc hiện có trong siêu văn bản. Google được thiết kế để thu thập dữ liệu và lập chỉ mục Web một cách hiệu quả, đồng thời tạo ra các kết quả tìm kiếm thỏa mãn hơn nhiều so với các hệ thống hiện có. Nguyên mẫu với cơ sở dữ liệu văn bản đầy đủ và siêu liên kết gồm ít nhất 24 triệu trang có sẵn tại http://google.stanford.edu/

Việc xây dựng một công cụ tìm kiếm là một nhiệm vụ đầy thách thức. Các công cụ tìm kiếm lập chỉ mục từ hàng chục đến hàng trăm triệu trang Web liên quan đến một số lượng tương đương các thuật ngữ riêng biệt. Chúng trả lời hàng chục triệu truy vấn mỗi ngày. Mặc dù các công cụ tìm kiếm quy mô lớn trên Web có tầm quan trọng, rất ít nghiên cứu học thuật đã được thực hiện về chúng. Hơn nữa, do sự tiến bộ nhanh chóng của công nghệ và sự phát triển của Web, việc tạo ra một công cụ tìm kiếm Web ngày nay rất khác so với ba năm trước. Bài báo này cung cấp mô tả chuyên sâu về công cụ tìm kiếm Web quy mô lớn của chúng tôi — mô tả công khai chi tiết đầu tiên như vậy mà chúng tôi biết cho đến nay.

Ngoài các vấn đề về việc mở rộng các kỹ thuật tìm kiếm truyền thống lên dữ liệu có quy mô lớn như vậy, còn có những thách thức kỹ thuật mới liên quan đến việc sử dụng thông tin bổ sung hiện diện trong siêu văn bản để tạo ra các kết quả tìm kiếm tốt hơn. Bài báo này giải quyết câu hỏi về cách xây dựng một hệ thống quy mô lớn thực tế có thể khai thác thông tin bổ sung hiện diện trong siêu văn bản.

1 Introduction

This section is missing here.

2 System features

This section is missing here.

3 Related work

This section is missing here.

4 System anatomy

This section is missing here.

5 Results and performance

This section is missing here.

6 Conclusions

This section is missing here.

Acknowledgments

This section is missing here.

References

  1. S. Abiteboul and V. Vianu, Queries and computation on the Web, in: Proceedings of the International Conference on Database Theory, Delphi, Greece, 1997.
  2. J. Cho, H. Garcia-Molina and L. Page, Efficient crawling through URL ordering, in: Proc. of the 7th International World Wide Web Conference (WWW 98), Brisbane, Australia, April 14–18, 1998; also Comput. Networks ISDN Systems. 30(1–7): 161–172 (this volume).
  3. J. Kleinberg, Authoritative sources in a hyperlinked environment, in: Proc. ACM-SIAM Symposium on Discrete Algorithms, 1998.
  4. M. Marchiori. The quest for correct information on the Web: hyper search engines, in: Proc. of the 6th International WWW Conference (WWW 97), Santa Clara, USA, April 7–11, 1997.
  5. Mauldin, M.L., Lycos design choices in an Internet search service, IEEE Expert Interview, http://www.computer.org/pubs/expert/1997/trends/x1008/mauldin.htm
  6. O.A. McBryan, GENVL and WWW: tools for taming the Web, in: Proc. of the 1st International Conference on the World Wide Web, CERN, Geneva, Switzerland, May 25–27, 1994. http://www.cs.colorado.edu/home/mcbryan/mypapers/www94.ps
  7. L. Page, S. Brin, R. Motwani and T. Winograd, The PageRank citation ranking: bringing order to the Web, Manuscript in Progress, http://google.stanford.edu/~backrub/pageranksub.ps
  8. B. Pinkerton, Finding what people want: experiences with the WebCrawler, in: Proc. of the 2nd International WWW Conference, Chicago, USA, October 17–20, 1994, http://info.webcrawler.com/bp/WWW94.html
  9. E. Spertus, ParaSite: mining structural information on the Web, in: Proc. of the 6th International WWW Conference (WWW 97), Santa Clara, USA, April 7–11, 1997.
  10. D.K. Harman and E.M. Voorhees (Eds.), Proceedings of the Fifth Text REtrieval Conference (TREC-5), Gaithersburg, Maryland, November 20–22, 1996, Department of Commerce. National Institute of Standards and Technology, 1996; full text at http://trec.nist.gov/
  11. I.H Witten, A. Moffat, and T.C. Bell, Managing Gigabytes: Compressing and Indexing Documents and Images, Van Nostrand Reinhold, New York, NY, 1994.
  12. R. Weiss, B. Velez, M.A. Sheldon, C. Manprempre, P. Szilagyi, A. Duda, and D. K. Gifford, HyPursuit: a hierarchical network search engine that exploits content-link hypertext clustering, in: Proc. of the 7th ACM Conference on Hypertext, New York, 1996. Sergey Brin received his B.S. degree in mathematics and computer science from the University of Maryland at College Park in 1993. Currently, he is a Ph.D. candidate in computer science at Stanford University where he received his M.S. in 1995. He is a recipient of a National Science Foundation Graduate Fellowship. His research interests include search engines, information extraction from unstructured sources, and data mining of large text collections and scientific data.

Read off the page by a vision model reading the page images using olmOCR-2-7B-1025-FP8.

Read off the page by a vision model reading the page images using olmOCR-2-7B-1025-FP8. Translated into Tiếng Việt by gpt-5, against glossary version 7. Translated from the English.