Введение в хранилище данных Snowflake
Что такое облачная платформа данных Snowflake? Архитектура и ключевые понятия
В этом руководстве мы обсудим, что такое хранилище данных Snowflake, архитектуру Snowflake, как создать бесплатную пробную учетную запись для тест-драйва и, наконец, как получить доступ к Snowflake WebUI.
1. Что такое облачное хранилище данных Snowflake?
Snowflake — это облачная платформа для хранения данных, разработанная на базе Cloud. На данный момент Snowflake поддерживают популярные поставщики облачных услуг, такие как Amazon Web Service (AWS), Microsoft Azure и Google Cloud.
Нет необходимости устанавливать, настраивать или обслуживать какое-либо оборудование (виртуальное или реальное) или программное обеспечение, поскольку оно полностью работает в инфраструктуре общедоступного облака. Snowflake — это настоящий SaaS продукт.
Snowflake предлагает модель хранилища данных, которая быстрее, проще в настройке и значительно более адаптируема, чем типичные системы хранилищ данных.
Он быстро поднялся на вершину рынка решений по управлению данными для аналитики благодаря своим уникальным характеристикам.
Снежинка — хранилище данных
2. Архитектура снежинки
Структура базы данных Snowflake представляет собой комбинацию систем баз данных с общим диском и без общего доступа. Snowflake, как и системы с общими дисками, использует центральное хранилище данных для хранения данных, и оно будет доступно со всех вычислительных узлов платформы.
Snowflake выполняет вычисления с использованием вычислительных кластеров MPP (массово-параллельная обработка), в которых каждый узел в кластере хранит часть полного набора данных локально, аналогично системам без общего доступа.
Этот метод сочетает в себе простоту управления данными конструкции с общим диском с преимуществами скорости и масштабируемости архитектуры без общего доступа.
Снежинка Архитектура
Архитектура «Снежинка» состоит из трех слоев.
- Уровень хранения,
- Вычислительный уровень,
- Уровень облачных сервисов.
Давайте поговорим о каждом слое подробно.
2.1. Уровень хранения
Snowflake делит данные на многочисленные микроразделы, каждый из которых оптимизируется и сжимается внутри. Он хранит данные в виде столбцов.
Данные сохраняются в облаке и управляются с использованием подхода общего диска, что упрощает администрирование данных. В архитектуре без общего доступа это гарантирует, что пользователям не придется беспокоиться о распределении данных по нескольким узлам.
Чтобы получить данные для обработки запроса, вычислительные узлы связываются с уровнем хранения. Мы платим только за среднемесячное использование хранилища, поскольку уровень хранения независим.
Хранилище Snowflake является эластичным, поскольку оно предоставляется в облаке и оплачивается ежемесячно в зависимости от потребления за ТБ.
Цена за хранилище взимается поставщиками облачных услуг в зависимости от использования хранилища в месяц. Это означает, что стоимость хранилища определяется на основе среднего объема хранилища, используемого в месяц, после сжатия.
2.2. Вычислительный уровень
Этот уровень состоит из виртуальных складов, которые представляют собой масштабируемые вычислительные единицы.
Уровень вычислений получает данные с уровня хранения и кэширует их локально для улучшения результатов запросов в будущем, т. е. каждое виртуальное хранилище имеет свой собственный кеш.
Несколько виртуальных хранилищ могут работать одновременно, поддерживать ACID и выполнять множественную одновременную обработку данных.
В Snowflake можно создать несколько виртуальных хранилищ для различных требований в зависимости от рабочих нагрузок.
Эти склады по своей природе представляют собой MPP (массово-параллельную обработку). Каждый виртуальный склад может использовать один уровень хранения.
Виртуальный склад имеет собственный вычислительный кластер и не взаимодействует с другими виртуальными складами, что означает отсутствие общей архитектуры.
Цены на это хранилище будут динамическими, т. е. плата будет рассчитываться в зависимости от того, сколько вычислительных единиц вы израсходовали, и будет рассчитываться как кредит.
Таким образом, всякий раз, когда Хранилище данных выполняет вычисления, в это время работает только тактовый сигнал зарядки. Ниже приведены измерения оплаты за хранилища данных разных размеров.
- Virtual Warehouse Size
Кредит в час
- X- Small
1
- Small
2
- Medium
4
- Large
8
- X-Large
16
- 2X-Large
32
- 3X-Large
64
- 4X-Large
128
- 5X-Large
256
- 6X-Large
512
Хранилище данных — Кредиты
Эта оплата будет производиться за секунду использования. Минимальная оплата будет составлять одну минуту, т.е. как только хранилище данных начнет вычисления, минимальная плата будет рассчитана из одной минуты использования. Например, если вы используете только 30 секунд, зарядка будет производиться за одну минуту.
2.3. Уровень облачных сервисов
Этот уровень содержит все операции, которые координируются в Snowflake, такие как аутентификация, безопасность, управление метаданными загруженных данных и оптимизатор запросов.
Уровень обслуживания предоставляет клиентский интерфейс SQL для операций с данными, таких как DDL и DML. Эти облачные сервисы также можно масштабировать, как и другие уровни.
Цены на эти облачные услуги не взимаются напрямую. По умолчанию некоторое количество кредитов будет выделено для облачных сервисов, поскольку для работы этих сервисов также требуется вычислительная мощность.
Плата за облачную службу будет взиматься, когда загрузка превысит 10 % от общего объема вычислений, используемых в день. Например, если для операционных вычислений использовалось 100 кредитов, а для облачных служб — 15 кредитов, то плата за облачные услуги составит 15 — (10% от 100)=15.
3. Что такое кредит?
Кредит — это зарядная единица в снежинке. Сумма каждого кредита будет рассчитываться в зависимости от редакции и поставщика облачных услуг. Посмотреть и оценить стоимость можно по этой ссылке.
Вы можете выбрать поставщика облачных услуг, регион и валюту; вы получите расчетную плату за кредит.
Цены на снежинки
4. Создайте учетную запись Snowflake.
Snowflake предоставляет бесплатную пробную учетную запись для тест-драйва; его стоимость составляет 400 долларов США. Вы можете создать бесплатную пробную учетную запись по ссылке ниже.
- https://signup.snowflake.com/
На странице регистрации введите свои основные данные и нажмите «Продолжить».
Страница регистрации Снежинки
Выберите версию Snowflake, поставщика облачных услуг и регион. Убедитесь, что вы установили флажок «Лицензионное соглашение» и нажмите «Начать».
Выберите версию Snowflake и поставщика облачных услуг.
На ваш зарегистрированный адрес электронной почты будет отправлено письмо с подтверждением.
Регистрация Снежинки завершена
Перейдите в свой почтовый ящик, откройте письмо с активацией от службы поддержки Snowflake и нажмите ссылку «Нажмите, чтобы активировать». Вы будете перенаправлены на новую страницу, где сможете установить свое имя пользователя и пароль.
Письмо активации «Снежинка»
Установите имя пользователя и пароль. Нажмите «Начать», чтобы продолжить.
Установить учетную запись Snowflake
Как только вы начнете, вы получите письмо с подтверждением о том, что ваша учетная запись активирована. Нажмите ссылку «Войти в Snowflake».
Письмо с подтверждением учетной записи Snowflake
Теперь вы будете перенаправлены на целевую страницу веб-интерфейса Snowflake.
Веб-интерфейс снежинки
Заключение
В этой статье мы рассмотрели концепцию Snowflake, его архитектуру и открыли бесплатную пробную учетную запись для проверки подлинности и тестирования. Мы также обсудили, как получить доступ к WebUl Snowflake.
В следующей статье мы увидим, как установить SnowSQL, получить доступ к Snowflake с помощью SnowSQL (CLI) и изучим различные действия по управлению базами данных.
- Как подключить Snowflake к клиенту SnowSQL CLI
Ресурсы:
- https://docs.snowflake.com/en/user-guide/intro-key-concepts.html
- https://www.snowflake.com/pricing/pricing-gui