The Google File System

Sanjay Ghemawat, Howard Gobioff, Shun-Tak Leung, 2003, SOSP

About this paper

This paper is under a licence that does not allow it to be reproduced, so what is here is its front matter and a short abstract. Read it at the publisher's page.

English
Tiếng Việt

ABSTRACT

We have designed and implemented the Google File System, a scalable distributed file system for large distributed data-intensive applications. It provides fault tolerance while running on inexpensive commodity hardware, and it delivers high aggregate performance to a large number of clients. While sharing many of the same goals as previous distributed file systems, our design has been driven by observations of our application workloads and technological environment, both current and anticipated, that reflect a marked departure from some earlier file system assumptions. This has led us to reexamine traditional choices and explore radically different design points. The file system has successfully met our storage needs. It is widely deployed within Google as the storage platform for the generation and processing of data used by our service as well as research and development efforts that require large data sets. The largest cluster to date provides hundreds of terabytes of storage across thousands of disks on over a thousand machines, and it is concurrently accessed by hundreds of clients. In this paper, we present file system interface extensions designed to support distributed applications, discuss many aspects of our design, and report measurements from both micro-benchmarks and real world use.

Categories and Subject Descriptors D [4]: 3—Distributed file systems

General Terms Design, reliability, performance, measurement

Keywords Fault tolerance, scalability, data storage, clustered storage

*The authors can be reached at the following addresses: {sanjay,hgobioff,shuntak}@google.com.

Permission to make digital or hard copies of all or part of this work for personal or classroom use is granted without fee provided that copies are not made or distributed for profit or commercial advantage and that copies bear this notice and the full citation on the first page. To copy otherwise, to republish, to post on servers or to redistribute to lists, requires prior specific permission and/or a fee. SOSP’03, October 19–22, 2003, Bolton Landing, New York, USA. Copyright 2003 ACM 1-58113-757-5/03/0010 ...\$5.00.

Hệ thống tệp Google

Sanjay Ghemawat, Howard Gobioff, và Shun-Tak Leung

Google*

TÓM TẮT

Chúng tôi đã thiết kế và triển khai Hệ thống tệp Google, một hệ thống tệp phân tán có khả năng mở rộng cho các ứng dụng lớn, phân tán và sử dụng nhiều dữ liệu. Nó cung cấp khả năng chịu lỗi khi chạy trên phần cứng thương mại giá rẻ, đồng thời cung cấp hiệu năng tổng hợp cao cho một số lượng lớn máy khách.

Mặc dù chia sẻ nhiều mục tiêu giống với các hệ thống tệp phân tán trước đây, thiết kế của chúng tôi được thúc đẩy bởi các quan sát về tải công việc ứng dụng và môi trường công nghệ của chúng tôi, cả hiện tại lẫn dự kiến, phản ánh sự khác biệt đáng kể so với một số giả định trước đây về hệ thống tệp. Điều này đã dẫn chúng tôi xem xét lại các lựa chọn truyền thống và khám phá những điểm thiết kế khác biệt căn bản.

Hệ thống tệp đã đáp ứng thành công các nhu cầu lưu trữ của chúng tôi. Nó được triển khai rộng rãi trong Google như nền tảng lưu trữ cho việc tạo và xử lý dữ liệu được sử dụng bởi dịch vụ của chúng tôi cũng như các nỗ lực nghiên cứu và phát triển yêu cầu các tập dữ liệu lớn. Cụm lớn nhất cho đến nay cung cấp hàng trăm terabyte lưu trữ trên hàng nghìn đĩa trên hơn một nghìn máy, và được truy cập đồng thời bởi hàng trăm máy khách.

Trong bài báo này, chúng tôi trình bày các mở rộng giao diện hệ thống tệp được thiết kế để hỗ trợ các ứng dụng phân tán, thảo luận nhiều khía cạnh trong thiết kế của chúng tôi, và báo cáo các phép đo từ cả các phép đo chuẩn vi mô lẫn việc sử dụng trong thế giới thực.

Các hạng mục và mô tả chủ đề

D [4]: 3—Các hệ thống tệp phân tán

Các thuật ngữ chung

Thiết kế, độ tin cậy, hiệu năng, phép đo

Từ khóa

Khả năng chịu lỗi, khả năng mở rộng, lưu trữ dữ liệu, lưu trữ theo cụm

*Các tác giả có thể được liên hệ tại các địa chỉ sau: {sanjay,hgobioff,shuntak}@google.com.

1 INTRODUCTION

This section is missing here.

2 DESIGN OVERVIEW

This section is missing here.

3 SYSTEM INTERACTIONS

This section is missing here.

4 MASTER OPERATION

This section is missing here.

5 FAULT TOLERANCE AND DIAGNOSIS

This section is missing here.

6 MEASUREMENTS

This section is missing here.

Acknowledgments

This section is missing here.

References

  1. Thomas Anderson, Michael Dahlin, Jeanna Neefe, David Patterson, Drew Roselli, and Randolph Wang. Serverless network file systems. In Proceedings of the 15th ACM Symposium on Operating System Principles, pages 109–126, Copper Mountain Resort, Colorado, December 1995.
  2. Remzi H. Arpaci-Dusseau, Eric Anderson, Noah Treuhaft, David E. Culler, Joseph M. Hellerstein, David Patterson, and Kathy Yelick. Cluster I/O with River: Making the fast case common. In Proceedings of the Sixth Workshop on Input/Output in Parallel and Distributed Systems (IOPADS ’99), pages 10–22, Atlanta, Georgia, May 1999.
  3. Luis-Felipe Cabrera and Darrell D. E. Long. Swift: Using distributed disk striping to provide high I/O data rates. Computer Systems, 4(4):405–436, 1991.
  4. Garth A. Gibson, David F. Nagle, Khalil Amiri, Jeff Butler, Fay W. Chang, Howard Gobioff, Charles Hardin, Erik Riedel, David Rochberg, and Jim Zelenka. A cost-effective, high-bandwidth storage architecture. In Proceedings of the 8th Architectural Support for Programming Languages and Operating Systems, pages 92–103, San Jose, California, October 1998.
  5. John Howard, Michael Kazar, Sherri Menees, David Nichols, Mahadev Satyanarayanan, Robert Sidebotham, and Michael West. Scale and performance in a distributed file system. ACM Transactions on Computer Systems, 6(1):51–81, February 1988.
  6. InterMezzo. http://www.inter-mezzo.org, 2003.
  7. Barbara Liskov, Sanjay Ghemawat, Robert Gruber, Paul Johnson, Liuba Shrira, and Michael Williams. Replication in the Harp file system. In 13th Symposium on Operating System Principles, pages 226–238, Pacific Grove, CA, October 1991.
  8. Lustre. http://www.lustreorg, 2003.
  9. David A. Patterson, Garth A. Gibson, and Randy H. Katz. A case for redundant arrays of inexpensive disks (RAID). In Proceedings of the 1988 ACM SIGMOD International Conference on Management of Data, pages 109–116, Chicago, Illinois, September 1988.
  10. Frank Schmuck and Roger Haskin. GPFS: A shared-disk file system for large computing clusters. In Proceedings of the First USENIX Conference on File and Storage Technologies, pages 231–244, Monterey, California, January 2002.
  11. Steven R. Soltis, Thomas M. Ruwart, and Matthew T. O’Keefe. The Gobal File System. In Proceedings of the Fifth NASA Goddard Space Flight Center Conference on Mass Storage Systems and Technologies, College Park, Maryland, September 1996.
  12. Chandramohan A. Thekkath, Timothy Mann, and Edward K. Lee. Frangipani: A scalable distributed file system. In Proceedings of the 16th ACM Symposium on Operating System Principles, pages 224–237, Saint-Malo, France, October 1997.

Read off the page by a vision model reading the page images using olmOCR-2-7B-1025-FP8.

Read off the page by a vision model reading the page images using olmOCR-2-7B-1025-FP8. Translated into Tiếng Việt by gpt-5, against glossary version 7. Translated from the English.