The Snowflake Elastic Data Warehouse

Snowflake Computing

ABSTRACT

We live in the golden age of distributed computing. Public cloud platforms now offer virtually unlimited compute and storage resources on demand. At the same time, the Software-as-a-Service (SaaS) model brings enterprise-class systems to users who previously could not afford such systems due to their cost and complexity. Alas, traditional data warehousing systems are struggling to fit into this new environment. For one thing, they have been designed for fixed resources and are thus unable to leverage the cloud’s elasticity. For another thing, their dependence on complex ETL pipelines and physical tuning is at odds with the flexibility and freshness requirements of the cloud’s new types of semi-structured data and rapidly evolving workloads.

We decided a fundamental redesign was in order. Our mission was to build an enterprise-ready data warehousing solution for the cloud. The result is the Snowflake Elastic Data Warehouse, or “Snowflake” for short. Snowflake is a multi-tenant, transactional, secure, highly scalable and elastic system with full SQL support and built-in extensions for semi-structured and schema-less data. The system is offered as a pay-as-you-go service in the Amazon cloud. Users upload their data to the cloud and can immediately manage and query it using familiar tools and interfaces. Implementation began in late 2012 and Snowflake has been generally available since June 2015. Today, Snowflake is used in production by a growing number of small and large organizations alike. The system runs several million queries per day over multiple petabytes of data.

In this paper, we describe the design of Snowflake and its novel multi-cluster, shared-data architecture. The paper highlights some of the key features of Snowflake: extreme elasticity and availability, semi-structured and schema-less data, time travel, and end-to-end security. It concludes with lessons learned and an outlook on ongoing work.

Categories and Subject Descriptors Information systems [Data management systems]: Database management system engines

Permission to make digital or hard copies of part or all of this work for personal or classroom use is granted without fee provided that copies are not made or distributed for profit or commercial advantage and that copies bear this notice and the full citation on the first page. Copyrights for third-party components of this work must be honored. For all other uses, contact the owner/author(s).

SIGMOD/PODS’16 June 26 - July 01, 2016, San Francisco, CA, USA © 2016 Copyright held by the owner/author(s). ACM ISBN 978-1-4503-3531-7/16/06. DOI: http://dx.doi.org/10.1145/2882903.2903741

Keywords Data warehousing, database as a service, multi-cluster shared data architecture

Kho lưu trữ dữ liệu đàn hồi Snowflake

Benoit Dageville, Thierry Cruanes, Marcin Zukowski, Vadim Antonov, Artin Avanes,

Jon Bock, Jonathan Claybaugh, Daniel Engovatov, Martin Hentschel,

Jiansheng Huang, Allison W. Lee, Ashish Motivala, Abdul Q. Munir, Steven Pelley,

Peter Povinec, Greg Rahn, Spyridon Triantafyllis, Philipp Unterbrunner

Snowflake Computing

TÓM TẮT

Chúng ta đang sống trong kỷ nguyên vàng của tính toán phân tán. Các nền tảng đám mây công cộng hiện cung cấp gần như không giới hạn các tài nguyên tính toán và lưu trữ theo nhu cầu. Đồng thời, mô hình Software-as-a-Service (SaaS) mang các hệ thống cấp doanh nghiệp đến với những người dùng trước đây không thể chi trả cho các hệ thống như vậy do chi phí và độ phức tạp của chúng. Tuy nhiên, các hệ thống kho dữ liệu truyền thống đang gặp khó khăn trong việc thích nghi với môi trường mới này. Một mặt, chúng được thiết kế cho các tài nguyên cố định và do đó không thể tận dụng tính đàn hồi của đám mây. Mặt khác, sự phụ thuộc của chúng vào các đường ống ETL phức tạp và việc tinh chỉnh vật lý mâu thuẫn với các yêu cầu về tính linh hoạt và tính mới của các loại dữ liệu bán cấu trúc mới của đám mây và các tải công việc phát triển nhanh chóng.

Chúng tôi quyết định cần một thiết kế lại cơ bản. Nhiệm vụ của chúng tôi là xây dựng một giải pháp kho dữ liệu sẵn sàng cho doanh nghiệp dành cho đám mây. Kết quả là Kho dữ liệu đàn hồi Snowflake, hay gọi ngắn gọn là “Snowflake”. Snowflake là một hệ thống đa người dùng, hỗ trợ giao dịch, an toàn, có khả năng mở rộng cao và đàn hồi với đầy đủ hỗ trợ SQL cùng các phần mở rộng tích hợp sẵn cho dữ liệu bán cấu trúc và dữ liệu không có lược đồ. Hệ thống được cung cấp dưới dạng một dịch vụ trả tiền theo mức sử dụng trong đám mây Amazon. Người dùng tải dữ liệu của họ lên đám mây và có thể ngay lập tức quản lý và truy vấn dữ liệu đó bằng các công cụ và giao diện quen thuộc.

1 INTRODUCTION

This section is missing here.

2 STORAGE VERSUS COMPUTE

This section is missing here.

3 ARCHITECTURE

This section is missing here.

4 FEATURE HIGHLIGHTS

This section is missing here.

5 RELATED WORK

This section is missing here.

6 LESSONS LEARNED AND OUTLOOK

This section is missing here.

7 ACKNOWLEDGMENTS

This section is missing here.