Skip to main content
Skip to main content
Edit this page

Табличная Функция S3

Предоставляет табличный интерфейс для выбора/вставки файлов в Amazon S3. Эта табличная функция похожа на hdfs, но обеспечивает специфические для S3 возможности.

Синтаксис

Aргументы

  • path — URL-адрес бакета с указанием пути к файлу. Поддерживает следующие подстановочные знаки в режиме "только чтение": *, ?, {abc,def} и {N..M} где N, M — числа, 'abc', 'def' — строки. Подробнее смотри здесь.
  • format — формат файла.
  • structure — cтруктура таблицы. Формат 'column1_name column1_type, column2_name column2_type, ...'.
  • compression — автоматически обнаруживает сжатие по расширению файла. Возможные значения: none, gzip/gz, brotli/br, xz/LZMA, zstd/zst. Необязательный параметр.

Возвращаемые значения

Таблица с указанной структурой для чтения или записи данных в указанный файл.

Примеры

Создание таблицы из файла S3 https://storage.yandexcloud.net/my-test-bucket-768/data.csv и выбор первых трех столбцов из нее:

Запрос:

Результат:

То же самое, но файл со сжатием gzip:

Запрос:

Результат:

Примеры использования​

Предположим, у нас есть несколько файлов со следующими URI на S3:

Подсчитаем количество строк в файлах, заканчивающихся цифрами от 1 до 3:

Подсчитаем общее количество строк во всех файлах этих двух каталогов:

Предупреждение

Если список файлов содержит диапазоны чисел с ведущими нулями, используйте конструкцию с фигурными скобками для каждой цифры отдельно или используйте ?.

Подсчитаем общее количество строк в файлах с именами file-000.csv, file-001.csv, ... , file-999.csv:

Запишем данные в файл test-data.csv.gz:

Запишем данные из существующей таблицы в файл test-data.csv.gz:

Партиционирование при записи данных​

Если при добавлении данных в таблицу S3 указать выражение PARTITION BY, то для каждого значения ключа партиционирования создается отдельный файл. Это повышает эффективность операций чтения.

Примеры

  1. При использовании ID партиции в имени ключа создаются отдельные файлы:

В результате данные будут записаны в три файла: file_x.csv, file_y.csv и file_z.csv.

  1. При использовании ID партиции в названии бакета создаются файлы в разных бакетах:

В результате будут созданы три файла в разных бакетах: my_bucket_1/file.csv, my_bucket_10/file.csv и my_bucket_20/file.csv.

Смотрите также