メインコンテンツへジャンプ
ページ 1

HiveテーブルをUnityカタログにアップグレードする方法

このブログでは、Hiveメタストア(HMS)*テーブルをUnityカタログ(UC)にシームレスにアップグレードする方法を、アップグレードするHMSテーブルのバリエーションに応じて異なる方法を使用して、例を挙げて説明します。 *注: Hiveメタストアは、デフォルト、外部メタストア、またはAWS Glue Data Catalogでもかまいません。 簡略化のため、本書では"Hive メタストア" という用語を使用します。 詳細を説明する前に、アップグレードの手順を説明しよう。 評価 - このステップでは、アップグレード対象として特定された既存の HMS テーブルを評価し、アップグレードの適切なアプローチを決定します。 このステップについては、このブログで説明します。 作成 - このステップでは、メタストア、カタログ、スキーマ、ストレージ資格情報、外部ロケーションなど、必要なUCアセットを作成します。 詳細については、ドキュメント( AWS 、 Azure...

Delta Lakeとの統合でデータエコシステムを統一する

Original : Unifying Your Data Ecosystem with Delta Lake Integration 翻訳: junichi.maruyama 組織がデータインフラを成熟させ、データレイクにこれまで以上に多くのデータを蓄積していく中で、Delta Lakeのようなオープンで信頼性の高いテーブルフォーマットは非常に必要になってきます。 すでに何千もの企業が本番でDelta Lakeを使用しており、(2022年6月に発表された) Delta Lakeのすべてをオープンソース化 したことで、さまざまなドメインや垂直方向での採用がさらに進んでいます。 それらの企業の多くは、Databricksとその他のデータおよびAIフレームワーク(Power BI、Trino、Flink、Spark on Kubernetesなど)の両方を技術スタックの一部として使用しているため、それらすべてのフレームワークを使用してDelta...