Облачный гигант AWS выбрал формат таблиц Apache Iceberg, чтобы расширить охват своего хранилища данных Redshift за счет озер данных, что на прошлой неделе было повторено IBM Netezza.
AWS сообщила, что предварительно поддерживает Iceberg, который появился в Netflix в конце 2010-х годов, чтобы позволить пользователям использовать Redshift для выполнения аналитических запросов к таблицам Apache Iceberg во внешних озерах данных.
«Теперь вы можете использовать Amazon Redshift для запросов к таблицам Apache Iceberg в каталоге данных AWS Glue, в то время как другие пользователи или приложения могут безопасно обрабатывать данные в ваших таблицах с помощью сервисов, совместимых с ACID, таких как Amazon EMR, Amazon Athena и AWS Glue», — говорится в сообщении. .
Однако мелкий шрифт внес некоторые оговорки. «Только новые таблицы Iceberg — запросы к секционированным таблицам, которые были преобразованы из таблиц Apache Parquet в таблицы Apache Iceberg и включают в запрос столбцы секций, не поддерживаются», — говорится в сопроводительном руководстве пользователя.
Позже AWS пояснила, как систему можно использовать для запроса данных за пределами своей облачной платформы.
«Amazon Redshift обеспечивает согласованность транзакций для запросов к таблицам Apache Iceberg из озер данных в AWS (включая Amazon S3). Google BigQuery или Google облачное хранилище), клиенты AWS могут использовать готовые коннекторы источников данных Amazon Athena», — сообщили в компании. Регистр.
В нем говорилось, что цены будут основываться на использовании Redshift Spectrum или Redshift Serverless.
Еще одна подсказка для Iceberg исходит от IBM Netezza, почти забытого хранилища данных, первоначально основанного на PostgreSQL. В последний раз мы слышали о Netezza, когда IBM, купившая ее в 2010 году, наконец перенесла систему в облако.
На этой неделе инженер-программист IBM Майк Дерой написал в блоге, что пользователи могут использовать технологию IBM Lakehouse watsonx.data для создания таблиц в формате таблиц Apache Iceberg, «позволяя любому совместимому механизму получать доступ к данным и предотвращая привязку к какому-либо конкретному механизму».
«IBM обеспечивает первоклассную интеграцию Lakehouse с движком Netezza, позволяя вам запрашивать таблицы Iceberg как с платформы watsonx.data, так и с других платформ DataLake», — сказал он.
Кто за каким столом сидит?
Хотя вряд ли стандарты Betamax и VHS противоречат друг другу, крупные поставщики, похоже, разделились в том, какой формат таблиц они поддерживают, чтобы привнести видение аналитических механизмов в данные, где бы они ни находились. Снежинка, Клаудера, Google а теперь AWS и Netezza присоединились к Iceberg. Но Microsoft, SAP и Databricks выбрали формат таблицы, созданный последним, с проектом с открытым исходным кодом, управляемым Linux Foundation.
Каждый поставщик обосновал свой подход, заявив, что выбранный формат отражает то, что больше всего требуется клиентам. Они также заявили, что будут поддерживать ряд форматов, включая Apache Hudi, в нужный момент.
Что оставляет Oracle. Ранее в этом месяце Big Red заявила, что расширяет возможности MySQL HeatWave для запроса данных, хранящихся в объектном хранилище. Это, конечно, означает собственное хранилище объектов. Однако Oracle заявила, что намерена в будущем поддерживать форматы открытых таблиц, начиная с Iceberg и Delta Lake. ®
