DatabricksでのSQLスクリプトのサポートの紹介：パート1

今日、DatabricksはANSI SQL/PSM準拠のスクリプト言語のサポートを発表します！

SQL Scripting (SQLスクリプト) がDatabricksで利用可能になりました。これにより、ループや制御フローのような手続き的なロジックを、すでに知っているSQLに直接導入することができます。DatabricksでのSQLスクリプトは、オープンスタンダードに基づいており、Apache Spark™と完全に互換性があります。

SQLを最初に使用するユーザーにとって、これによりDatabricksのスケーラビリティとAI機能を活用しながら、レイクハウスで直接作業することが容易になります。

すでにDatabricksを使用している場合、SQLスクリプトは管理ロジックやELTタスクの構築に特に便利です。コラボレーションの機能には以下のものが含まれます。

• スコープローカル変数
• シンボリックなエラー条件に基づくネイティブな例外処理
• IF-THEN-ELSEとCASEのサポート
• 複数のループ構造、クエリに対するFORループを含む
• ITERATEとLEAVEによるループ制御
• EXECUTE IMMEDIATEを通じたSQLの動的実行

機能リストはこれで十分でしょう — 実際の例をいくつか見てみましょう。このノートブックを使って進行することができます。

データ管理

管理業務やデータのクリーンアップは、エンタープライズデータ管理において常に存在し、必要であり、ルーチンであり、避けることは不可能です。過去の記録をクリーンアップし、混在するフォーマットを標準化し、新しい命名規則を適用し、列の名前を変更し、データ型を拡大し、列マスクを追加する必要があります。これらのタスクを自動化できるほど、システムは時間とともに信頼性と管理性が向上します。一般的な例としては、テーブル内のすべてのSTRING列に対して大文字小文字を区別しない動作を強制することが挙げられます。

SQLスクリプトを使用して、このようなスキーマ管理を繰り返し行いやすくする方法を見てみましょう。

スキーマ管理：テーブル内のすべてのSTRING列を大文字・小文字を区別しないように設定する

この例では、テーブルemployeesの適用可能なすべての列に対して新しい文字列の並べ替えと比較のポリシーを適用したいと考えています。標準の照合順序タイプ、UTF8_LCASEを使用して、このテーブルの値の並べ替えと比較が常に大文字と小文字を区別しないようにします。この標準を適用することで、ユーザーは照合順序を使用することのパフォーマンスの利点を享受でき、クエリでLOWER()を適用する必要がなくなるため、コードが簡素化されます。

私たちはウィジェットを使用して、どのテーブルと照合タイプを変更するかを指定します。インフォメーションスキーマを使用して、そのテーブル内のすべての既存のSTRING型の列を見つけ出し、その照合を変更します。列名を配列に収集します。最後に、変更された列の新しい統計をすべて一つのスクリプトで収集します。

上記のスクリプトの自然な拡張は、スキーマ内のすべてのテーブルにそれを拡張し、照合順序の変更を取り込むためにビューを更新することです。

データクレンジング：自由形式のテキストフィールドの文法を修正

データの世界で「汚れたデータ」より一般的な問題はありますか？異なるシステム、デバイス、人間からのデータは、必ず差異や間違いがあり、それを修正する必要があります。データがクリーンアップされていない場合、結果が間違っていたり、重要な洞察を見逃す可能性があります。ゴミをLLMに入力すると、ゴミのようなレスポンスが返ってくることが予想されます。

このブログを含むすべての出版物の悩みの種であるタイプミスの例を見てみましょう。私たちは、descriptionという列にフリーテキストのエントリを含むテーブルを持っています。テキストの問題点は、スペルミスや文法の間違いを含み、英語を知っている人なら誰でも明らかです。この状態でデータを残しておくと、テキストを分析したり検査したりする際に後で問題が発生することは間違いありません。それをSQLスクリプトで修正しましょう！まず、インフォメーションスキーマからこの列名を持つテーブルを抽出します。次に、ai_fix_grammar()を使用してスペルミスを修正します。この関数は非決定的です。したがって、私たちはMERGEを使用して目標を達成します。

興味深い改善点として、 ai_classify() が列名やサンプルデータから自由形式のテキストを含む列を推測することができます。SQLスクリプトにより、管理タスクやデータの整理が効率的かつ簡単に行えます。

ETL

顧客は今日、ETLのためにSQLを使用しています。その理由として、SQLは、結合や集約、フィルタリングなどの強力なデータ変換機能を直感的な構文でサポートしており、パイプラインコードを任意のデータエンジニアが拡張、更新、維持するのが容易なためです。現在では、SQLスクリプトを使用することで、顧客は以前まで複雑だったアプローチをシンプル化したり、純粋なSQLでより複雑なロジックを処理することができます。

複数のテーブルを更新する

物理的な製品を販売している人は、販売の監視と出荷の追跡のプロセスを持っているでしょう。典型的なデータ管理パターンは、トランザクション、出荷、配送、返品を追跡するために複数のテーブルをモデル化することです。トランザクションの監視はビジネスにとって重要であり、どんな重要なプロセスでも、予期しない値の処理が必要です。SQLスクリプトを使用すると、条件付きCASE文を利用してトランザクションを適切なテーブルに解析し、エラーが発生した場合には例外をキャッチすることが容易になります。

この例では、イベントタイプに基づいて行が既知のターゲットテーブルのセットにルーティングされる必要がある生のトランザクションテーブルを考慮します。スクリプトが未知のイベントに遭遇すると、ユーザー定義の例外が発生します。セッション変数は、スクリプトが完了する前や例外が発生する前までの進行状況を追跡します。

この例のスクリプトは、さらにデータをポーリングするための外部ループで拡張することができます。SQLスクリプトを使用すると、データ資産全体でデータを管理し、更新する力と柔軟性を持つことができます。SQLスクリプトは、あらゆるデータ管理タスクに対応し、データ処理の流れを効率的に制御する力を提供します。

DatabricksのブログとSQLセッションをこれからもご覧いただき、Data + AIサミットが近づいてきました。一時テーブル、SQLストアドプロシージャなどのサポートを開始する準備をしています！

次に何をすべきか

既存のDatabricksユーザーであろうと大規模な移行をオーケストレーションするユーザーであろうと、SQLスクリプトは活用すべき機能です。SQLスクリプトについては、SQLスクリプト | Databricksドキュメンテーションで詳しく説明されています。

これらの例は、このSQLスクリプト作成ノートブックで直接試すことができます。詳細については、このシリーズのパート2をお待ちください。そこではSQLスクリプト作成の構造とその使用方法について深く掘り下げます。