The Google File System

Sanjay Ghemawat, Howard Gobioff, Shun-Tak Leung, 2003, SOSP

About this paperEnglishbeside English

This paper is under a licence that does not allow it to be reproduced, so what is here is its front matter and a short abstract. Read it at the publisher's page.

Hệ thống tệp Google

Sanjay Ghemawat, Howard Gobioff, và Shun-Tak Leung

Google*

TÓM TẮT

Chúng tôi đã thiết kế và triển khai Hệ thống tệp Google, một hệ thống tệp phân tán có khả năng mở rộng cho các ứng dụng lớn, phân tán và sử dụng nhiều dữ liệu. Nó cung cấp khả năng chịu lỗi khi chạy trên phần cứng thương mại giá rẻ, đồng thời cung cấp hiệu năng tổng hợp cao cho một số lượng lớn máy khách.

Mặc dù chia sẻ nhiều mục tiêu giống với các hệ thống tệp phân tán trước đây, thiết kế của chúng tôi được thúc đẩy bởi các quan sát về tải công việc ứng dụng và môi trường công nghệ của chúng tôi, cả hiện tại lẫn dự kiến, phản ánh sự khác biệt đáng kể so với một số giả định trước đây về hệ thống tệp. Điều này đã dẫn chúng tôi xem xét lại các lựa chọn truyền thống và khám phá những điểm thiết kế khác biệt căn bản.

Hệ thống tệp đã đáp ứng thành công các nhu cầu lưu trữ của chúng tôi. Nó được triển khai rộng rãi trong Google như nền tảng lưu trữ cho việc tạo và xử lý dữ liệu được sử dụng bởi dịch vụ của chúng tôi cũng như các nỗ lực nghiên cứu và phát triển yêu cầu các tập dữ liệu lớn. Cụm lớn nhất cho đến nay cung cấp hàng trăm terabyte lưu trữ trên hàng nghìn đĩa trên hơn một nghìn máy, và được truy cập đồng thời bởi hàng trăm máy khách.

Trong bài báo này, chúng tôi trình bày các mở rộng giao diện hệ thống tệp được thiết kế để hỗ trợ các ứng dụng phân tán, thảo luận nhiều khía cạnh trong thiết kế của chúng tôi, và báo cáo các phép đo từ cả các phép đo chuẩn vi mô lẫn việc sử dụng trong thế giới thực.

Các hạng mục và mô tả chủ đề

D [4]: 3—Các hệ thống tệp phân tán

Các thuật ngữ chung

Thiết kế, độ tin cậy, hiệu năng, phép đo

Từ khóa

Khả năng chịu lỗi, khả năng mở rộng, lưu trữ dữ liệu, lưu trữ theo cụm

*Các tác giả có thể được liên hệ tại các địa chỉ sau: {sanjay,hgobioff,shuntak}@google.com.

References

  1. Thomas Anderson, Michael Dahlin, Jeanna Neefe, David Patterson, Drew Roselli, and Randolph Wang. Serverless network file systems. In Proceedings of the 15th ACM Symposium on Operating System Principles, pages 109–126, Copper Mountain Resort, Colorado, December 1995.
  2. Remzi H. Arpaci-Dusseau, Eric Anderson, Noah Treuhaft, David E. Culler, Joseph M. Hellerstein, David Patterson, and Kathy Yelick. Cluster I/O with River: Making the fast case common. In Proceedings of the Sixth Workshop on Input/Output in Parallel and Distributed Systems (IOPADS ’99), pages 10–22, Atlanta, Georgia, May 1999.
  3. Luis-Felipe Cabrera and Darrell D. E. Long. Swift: Using distributed disk striping to provide high I/O data rates. Computer Systems, 4(4):405–436, 1991.
  4. Garth A. Gibson, David F. Nagle, Khalil Amiri, Jeff Butler, Fay W. Chang, Howard Gobioff, Charles Hardin, Erik Riedel, David Rochberg, and Jim Zelenka. A cost-effective, high-bandwidth storage architecture. In Proceedings of the 8th Architectural Support for Programming Languages and Operating Systems, pages 92–103, San Jose, California, October 1998.
  5. John Howard, Michael Kazar, Sherri Menees, David Nichols, Mahadev Satyanarayanan, Robert Sidebotham, and Michael West. Scale and performance in a distributed file system. ACM Transactions on Computer Systems, 6(1):51–81, February 1988.
  6. InterMezzo. http://www.inter-mezzo.org, 2003.
  7. Barbara Liskov, Sanjay Ghemawat, Robert Gruber, Paul Johnson, Liuba Shrira, and Michael Williams. Replication in the Harp file system. In 13th Symposium on Operating System Principles, pages 226–238, Pacific Grove, CA, October 1991.
  8. Lustre. http://www.lustreorg, 2003.
  9. David A. Patterson, Garth A. Gibson, and Randy H. Katz. A case for redundant arrays of inexpensive disks (RAID). In Proceedings of the 1988 ACM SIGMOD International Conference on Management of Data, pages 109–116, Chicago, Illinois, September 1988.
  10. Frank Schmuck and Roger Haskin. GPFS: A shared-disk file system for large computing clusters. In Proceedings of the First USENIX Conference on File and Storage Technologies, pages 231–244, Monterey, California, January 2002.
  11. Steven R. Soltis, Thomas M. Ruwart, and Matthew T. O’Keefe. The Gobal File System. In Proceedings of the Fifth NASA Goddard Space Flight Center Conference on Mass Storage Systems and Technologies, College Park, Maryland, September 1996.
  12. Chandramohan A. Thekkath, Timothy Mann, and Edward K. Lee. Frangipani: A scalable distributed file system. In Proceedings of the 16th ACM Symposium on Operating System Principles, pages 224–237, Saint-Malo, France, October 1997.

Read off the page by a vision model reading the page images using olmOCR-2-7B-1025-FP8. Translated into Tiếng Việt by gpt-5, against glossary version 7. Translated from the English.