メインコンテンツへジャンプ
ページ 1

SQL関数の名前付き引数

November 13, 2023 ダニエル・テネドリオ、シンイ・ユー、アリソン・ワン、Wenchen Fan、セルジュ・リロー、リチャード・ユー による投稿 in エンジニアリングのブログ
本日は、SQL関数で名前付き引数を利用できるようになったことを紹介します。 この機能を使えば、より柔軟な方法で関数を呼び出すことが可能になります。 このブログでは、まずこの機能がどのようなものかを紹介し、次にSQLユーザー定義関数（UDF）のコンテキストで何ができるかを示し、最後に組み込み関数でどのように機能するかを探ります。 まとめると、名前付き引数はSQLのヘビーユーザーにとってもライトユーザーにとっても、作業を容易にする新しい便利な方法です。 名前付き引数とは何か？ 多くのプログラミング言語では、関数定義に1つ以上の引数のデフォルト値を含めることができます。 例えば、Pythonでは次のようなメソッドを定義できます： def botw(x, y = 6, z = 7): return x * y + z ユーザーがこの機能を呼び出したい場合、次のように選択できます： botw(5...

Lateral Column Alias (LCA) のサポートについて

September 20, 2023 シンイ・ユー、Wenchen Fan、Gengliang Wang による投稿 in エンジニアリングのブログ
翻訳：Junichi Maruyama. - Original Blog Link Apache SparkとDatabricksの新しいSQL機能のサポートをご紹介できることを嬉しく思います： Lateral Column Alias (LCA)です。この機能は、同じSELECTリスト内で先に指定した式を再利用できるようにすることで、複雑なSQLクエリを簡素化し、多くの場合、ネストしたサブクエリや共通テーブル式（CTE）を使用する必要性を排除します。このブログポストでは、この機能の使用例と、SparkとDatabricksのユーザーにもたらす利点について説明します。 Lateral Column エイリアス (LCA) サポートとは？ Lateral Column Alias (LCA) は、同じSELECTリスト内で先に指定した式を再利用する機能をユーザーに提供します。 この機能は、以下に示す例を通してより良く理解することができます。以下は単純なクエリです：...

Apache Spark™ 3.5のご紹介

September 15, 2023 Yuanjian Li、ダニエル・テネドリオ、マーティン・グルンド、アラン・フォルティング、Hyukjin Kwon、ヘルマン・ファン・ヘーベル、Wenchen Fan、ウェイチェン・シュー、Gengliang Wang、アリソン・ワン、イム・ジョンテク、Xiao Li、Reynold Xin（レイノルド・シン） による投稿 in エンジニアリングのブログ
翻訳：Junichi Maruyama. - Original Blog Link 本日、Databricks Runtime 14.0の一部として、Databricks上でApache Spark™ 3.5が利用可能になったことを発表いたします。Spark 3.5のリリースに多大な貢献をしていただいたApache Sparkコミュニティに深く感謝いたします。 Sparkをこれまで以上にアクセスしやすく、多用途で効率的なものにするという我々のミッションに沿った今回のアップデートには、以下のような新機能と改良が盛り込まれています： The English SDK for Apache Spark enables users to...

Apache Spark™ 3.4 for Databricks Runtime 13.0の紹介

April 13, 2023 Xinrong Meng、ダニエル・テネドリオ、マーティン・グルンド、アラン・フォルティング、Hyukjin Kwon、ヘルマン・ファン・ヘーベル、Wenchen Fan、Ying Xiong、イム・ジョンテク、Xiao Li、Reynold Xin（レイノルド・シン） による投稿 in エンジニアリングのブログ
Original Blog : Introducing Apache Spark™ 3.4 for Databricks Runtime 13.0 　 (翻訳： junichi.maruyama ) 本日、 Databricks Runtime 13.0 の一部として、Databricks上で Apache Spark™ 3.4...

Apache Spark™ 3.2 の概要

October 19, 2021 Gengliang Wang、Wenchen Fan、Hyukjin Kwon、Xiao Li、Reynold Xin（レイノルド・シン） による投稿 in エンジニアリングのブログ
Apache Spark™ 3.2 が、 Databricks ランタイム 10.0 の一部として Databricks 上で利用できるようになりました。Spark 3.2 のリリースにあたり、Apache Spark コミュニティの皆様の多大な貢献に感謝します。 Maven での Spark のダウンロード数が急増しています。 月間のダウンロード数は 2,000万 に達し、対前年比では 2 倍の成長率を示しています。Spark...

Apache Spark™ 3.0 のデータ型：日付とタイムスタンプ

July 22, 2020 Maxim Gekk、Wenchen Fan、Hyukjin Kwon による投稿 in エンジニアリングのブログ
Apache Spark は、構造化データと非構造化データの処理に使用される非常に一般的なツールです。構造化データの処理に関しては、整数、LONG、DOUBLE、STRING といった多くの基本的なデータ型をサポートしています。Spark は、開発者が理解するのが難しいことが多い DATE や TIMESTAMP などの複雑なデータ型もサポートしています。このブログでは、日付型とタイムスタンプ型について深く掘り下げ、その動作と一般的な問題を回避する方法を解説します。主に、次の 4 つの部分をカバーしています。 日付型と関連する暦法の定義と Spark 3.0 から適用された暦法の変更について タイムスタンプ型の定義とタイムゾーンとの関係（タイムゾーンオフセットの解消に関する詳細と、Spark 3.0 で使用される Java 8 の新しい Time API...

Apache Spark 3.0 概要｜Python API の強化・PySpark API の拡充など新機能搭載

June 18, 2020 Matei Zaharia、Reynold Xin（レイノルド・シン）、Xiao Li、Wenchen Fan、Yin Huai による投稿 in Databricks ブログ
Apache Spark TM 3.0.0 が Databricks Runtime 7.0 で利用できるようになりました。Spark 3.0.0 はオープンソースコミュニティでの多くのコントリビュートが結実したものです。3,400 以上のパッチが含まれ、Python API および ANSI SQL の機能拡充に加え、開発や調査が行いやすくなるような工夫が施されています。オープンソースプロジェクトとして 10 年目を迎え、多くの参加者の意見と多様なユースケースに応え続けてきた結果が反映されています。 Apache Spark 3.0 の主な新機能...