本記事は、2023年のDatabricks SQLの主な進歩分野を振り返るブログ・シリーズのパート1で、最初の記事ではパフォーマンスに焦点を当てています。 データウェアハウスのパフォーマンスは、特に計算時間がコストを左右する現代のSaaSの世界では、より応答性の高いユーザーエクスペリエンスと優れた価格/パフォーマンスを実現するために重要です。 私たちは、Databricks SQLのパフォーマンスを向上させるとともに、AIを活用することで手作業によるチューニングの必要性を低減させるために努力してきました。
最新のデータウェアハウスは、新しいデータ、より多くのユーザー、または新しいユースケースが入ってくるたびに、知識豊富な管理者が継続的に手動で調整する必要があるワークロード固有の構成で満たされています。 これらの"ノブ" は、データの物理的な保存方法から、コンピ ュータの利用方法やスケーリング方法まで多岐にわたります。 この1年間、私たちはDatabricksのデータインテリジェンスプラットフォームのビジョンに沿って、これらのパフォーマンスや管理上のつまみを取り除くためにAIを適用してきました：
このような技術革新により、ユーザーの複雑さやコストを増加させることなく、性能を大幅に向上させることが可能になりました。
Databricks SQLは、ETLワークロードのパフォーマンスとコスト効率において、長い間トップランナーでした。 Predictive I/OのようなAIを活用した機能への投資は、データ量が増加し続ける中で、リーダーとしての地位を維持し、コスト優位性を高めるのに役立ちます。 これは、Databricks SQLが業界をリードする競合製品に比べて最大9倍のコスト優位性を持つETLワークロードの処理において明らかです（以下のベンチマークを参照）。
Databricks SQLは、同時接続ユーザー数が少ない場合（< 100）には、業界をリードする競合他社に匹敵する低レイテンシのクエリパフォーマンスを発揮し、同時接続ユーザー数が1000人以上に増加すると、パフォーマンスが9倍向上します（以下のベンチマークを参照）。 サーバーレス・コンピューティングはまた、必要なときに数秒で倉庫を開始するため、クラスタを常時稼働させたり、手動でシャットダウンしたりする必要がなく、大幅なコスト削減を実現します。 ワークロードの需要が低下すると、SQL Serverlessは自動的にクラスタを縮小したり、ウェアハウスをシャットダウンしてコストを抑えます。
Databricks SQLは、統一されたガバナンス、お気に入りのツールの豊富なエコシステム、ロックインを避けるためのオープンなフォーマットとAPIを備えています。 SQLワークロードをコスト最適化、ハイパフォーマンス、サーバーレス、シームレスに統合されたモダンアーキテクチャに移行したいのであれば、Databricks SQLがソリューションです。 Databricks の担当者に相談して、今すぐ概念実証を開始し、その利点を直接体験してください。 Databricks SQLがお客様のデータ革新のスピ ードアップに最適かどうか、私たちのチームがお手伝いいたします。
AI主導の最適化を使用してDatabricks SQLでクラス最高のパフォーマンスを達成する方法については、Reynold Xinの基調講演とDatabricks SQL Serverless Under the Hood: How We Use ML to Get the Best Price/Performancefrom the Data+AI Summitをご覧ください。
