データベースにおけるスキーマとは ：そもそも「スキーマ（schema）」とは、日本人にとっても馴染みのある「スキーム（scheme）」という言葉の派生語です。計画や図などの意味を持ち、データベース関連だけでなく、哲学や心理学で使われている言葉でもあります。この記事で説明するデータベーススキーマ（DBスキーマ）とは、簡単に言えばデータベースの構造や整理の仕方のことです。細かな定義は、データベースの種類や会社によって異なりますので、今回は Databricks の次世代型データレイク・データウェアハウスである、Delta Lake における DB スキーマの考え方について解説をしていきます。
それでは DB スキーマの説明に入りましょう。ビジネスの問題や要件が時間の経過と共に変化するのと同じように、データの構造も変化します。Delta Lake では、データの変化に応じた新たな概念を容易に取り入れることができます。ユーザーは、シンプルなセマンティクスを使ってテーブルのスキーマを制御します。Delta Lake では、操作ミスや不要なデータの混入によるテーブルの汚染を防ぐスキーマの適用や、有用なデータ列を新たに適切な場所に自動追加できるスキーマの展開など、テーブルのスキーマ（schema）管理ツールが利用できます。このブログでは、これらのツールの使用方法について詳しく見ていきます。
テーブルのスキーマの意味／定義を理解する
Apache Spark™ では、全ての DataFrame にスキーマが定められます。データベース（DB）スキーマとは、データ型、列、メタデータなどのデータ形式を定義した構造を指します。Delta Lake では、テーブルのスキーマ（schema）はトランザクションログ内に JSON 形式で保存されます。
スキーマ適用とは
スキーマ適用の意味とは、スキーマ検証、とも呼ばれる Delta Lake の予防手段のことです。テーブルへの書き込み時に、スキーマに一致しないものを拒否することでデータの品質を確保します。予約客だけが入れるレストランで受付係が予約の有無を確認するように、データ列がテーブルに挿入される際に、定められたリストを確認して該当のないものは拒否します。
スキーマ適用の動作
Delta Lake でのスキーマ検証は writeの実行時に行われます。つまり、テーブルへの新規 書き込みの際に、書き込み先テーブルのスキーマとの整合性が必ず確認されます。スキーマに一致しない場合、トランザクションが完全にキャンセルされ、データの書き込みは一切行われません。また、例外がスローされ、不一致のあった場合はユーザーに通知されます。
Delta Lake では、テーブルに書き込まれる DataFrame について、次のルールに基づいて整合性の判別を行います。
「スキーマの不一致」は煩わしいものです。特に Delta Lake を使い始めた頃には、予期せぬエラーでワークフローが立ち行かなくなり、混乱することもあるかも知れません。そうなってくると、いっその事、無条件にDataFrameを書き込めるようにして、必要なスキーマ変更を都度行えばいいのではないかという気もしてきます。
