Bigtable: A Distributed Storage System for Structured Data

Google, Inc.

Abstract

Bigtable is a distributed storage system for managing structured data that is designed to scale to a very large size: petabytes of data across thousands of commodity servers. Many projects at Google store data in Bigtable, including web indexing, Google Earth, and Google Finance. These applications place very different demands on Bigtable, both in terms of data size (from URLs to web pages to satellite imagery) and latency requirements (from backend bulk processing to real-time data serving). Despite these varied demands, Bigtable has successfully provided a flexible, high-performance solution for all of these Google products. In this paper we describe the simple data model provided by Bigtable, which gives clients dynamic control over data layout and format, and we describe the design and implementation of Bigtable.

Bigtable: Một hệ thống lưu trữ phân tán cho dữ liệu có cấu trúc

Fay Chang, Jeffrey Dean, Sanjay Ghemawat, Wilson C. Hsieh, Deborah A. Wallach Mike Burrows, Tushar Chandra, Andrew Fikes, Robert E. Gruber {fay,jeff,sanjay,wilsonh,kerr,m3b,tushar,fikes,gruber}@google.com

Google, Inc.

Tóm tắt

Bigtable là một hệ thống lưu trữ phân tán để quản lý dữ liệu có cấu trúc, được thiết kế để mở rộng đến kích thước rất lớn: petabyte dữ liệu trên hàng nghìn server phổ thông. Nhiều dự án tại Google lưu trữ dữ liệu trong Bigtable, bao gồm lập chỉ mục web, Google Earth và Google Finance. Các ứng dụng này đặt ra những yêu cầu rất khác nhau đối với Bigtable, cả về kích thước dữ liệu (từ URL đến trang web và ảnh vệ tinh) lẫn các yêu cầu về độ trễ (từ xử lý hàng loạt ở backend đến cung cấp dữ liệu theo thời gian thực). Mặc dù có những yêu cầu đa dạng này, Bigtable đã cung cấp thành công một giải pháp linh hoạt, hiệu năng cao cho tất cả các sản phẩm này của Google. Trong bài báo này, chúng tôi mô tả mô hình dữ liệu đơn giản do Bigtable cung cấp, cho phép các máy khách kiểm soát động bố cục và định dạng dữ liệu, đồng thời chúng tôi mô tả thiết kế và triển khai của Bigtable.

1 Introduction

This section is missing here.

2 Data Model

This section is missing here.

3 API

This section is missing here.

4 Building Blocks

This section is missing here.

5 Implementation

This section is missing here.

6 Refinements

This section is missing here.

7 Performance Evaluation

This section is missing here.

Table 1: Distribution of number of tablet servers in Bigtable clusters.

This section is missing here.

8 Real Applications

This section is missing here.

9 Lessons

This section is missing here.

10 Related Work

This section is missing here.