Databricksでパラメータを一元管理しましょう！
本日、SQLエディタで 名前付きパラメータマーカー のサポートを発表できることを嬉しく思います。この機能により、SQLエディタでパラメータ化されたコードを記述でき、そのままダッシュボードやノートブックで構文を変更せずにコピーして実行するこ とが可能になります。これは、クエリ、ノートブック、ダッシュボード全体でパラメータを統一するための重要なマイルストーンとなります。 名前付きパラメータマーカーを使用する パラメータを使用することで、実行時にデータセットのクエリに値を代入し、日付や商品カテゴリなどの条件でデータをフィルタリングできます。これにより、SQLクエリでデータが集約される前に、より効率的なクエリと精度の高い分析が可能になります。 パラメータマーカーは、クエリ、ノートブック、ダッシュボード、ワークフロー、 SQL Execution API でサポートされています。これらは厳密に型指定されており、提供された値をSQL文から明確に分離することで、SQLインジェクション攻撃に対する耐性も強化されています。名前付きパ
Databricks VS Code拡張機能の新機能による、よりシンプルで迅速な開発
Databricks Visual Studio Code Extensionの強化された機能セットを発表することを嬉しく思います： Databricks Asset Bundles （DABs）を基にしたプロジェクトの設定を簡単に行い、リソースエクスプローラーで内部開発ループを改善し、Databricks CLIとのより密接な統合で生産性を向上させます。すでにVS Code拡張機能を使用している場合は、これらの機能を簡単にアップグレードして有効にすることができます。 これらの機能は、DABsの力をあなたの指先にもたらし、コンテキストスイッチを減らし、最良の慣行に基づいたスケーラブルでテスト可能な、再利用可能なソフトウェアの作成に没頭させます。 "Databricks VS Code Extensionなしでは、2024年の目標を達成することはできませんでした。インタラクティブウィンドウは、ソースコードを変更することなくデバッグを可能にすることで、開発中に私にとって重要な役割を果たしました。ローカルでのコード実行
Mosaic AI Gatewayに高度なセキュリティとガバナンス機能が登場！
私たちは、Mosaic AI Gatewayに新たな強力な機能を導入できることを嬉しく思います。これにより、お客様がAIイニシアチブをさらに簡単に、そしてセキュリティやガバナンスを強化しながら加速させることが可能になります。 企業がAIソリューションの導入を急ぐ中で、セキュリティ、コンプライアンス、コストの管理がますます難しくなっています。そこで、昨年Mosaic AI Gatewayをリリースし、多くの企業がOpenAI GPT、Anthropic Claude、Meta Llamaモデルを含むさまざまなモデルのAIトラフィックを管理するために使用しています。 今回のアップデートでは、使用状況の追跡、ペイロードログの記録、ガードレール設定といった高度な機能が追加され、Databricksデータインテリジェンスプラットフォーム内のあらゆるAIモデルに対してセキュリティとガバナンスを適用できるようになりました。このリリースにより、Mosaic AI Gatewayは最も機密性の高いデータやトラフィックに対しても、プ
DatabricksとのPyCharm統合を発表
Databricks開発者体験の最新の追加を発表することを嬉しく思います： DatabricksとのPyCharm Professional統合 ！この新しいプラグインはJetBrainsによって作成され、Databricksで開発する際にお気に入りのIDE機能を活用できるようにします。これにより、ソフトウェア開発のベストプラクティスが可能になり、生産への道筋をスムーズにします。 私たちのJetBrainsとのパートナーシップは、開発者がどこにいても彼らのニーズに応えるという コミットメント を強調しています。お客様がお気に入りのサードパーティIDEを活用してDatabricks開発者体験を補完できるように することです。PyCharmプラグインは、 Databricks for Visual Studio Code や Posit workbench など、私たちがサポートしているIDEのリストに追加されました。 ここでDatabricks PyCharmプラグインの簡単なデモをご覧ください： PythonのID
「Photon」で特徴量エンジニアリングを加速せよ！
高品質な機械学習モデルの訓練には、慎重なデータと特徴量の準備が必要です。Databricksにテーブルとして保存された生データをフルに活用するためには、ETLパイプラインの実行や特徴量エンジニアリングが必要となり、生データを有用な特徴量テーブルに変換することが求められます。テーブルが大きい場合、このステップは非常に時間がかかることが あります。今回、Databricks Machine Learning RuntimeでPhoton Engineを有効にできることを発表できることを嬉しく思います。 これにより、Sparkジョブや特徴量エンジニアリングのワークロードを2倍以上高速化することが可能になります。 「Photonを有効にし、新しいPITジョインを使用することで、私たちのフィーチャーストアを使用してトレーニングデータセットを生成するための時間が20倍以上短縮されました。」 - Sem Sinchenko, Advanced Analytics Expert Data Engineer, Raiffeisen
Databricks Assistant と AI 生成コメントの一般提供を開始
本日、すべてのクラウド プラットフォームで Databricks Assistant と AI 生成コメント が 一般提供されること をお知らせいたします 。 Databricks の使命は、プラットフォームをできるだけ簡単に使えるようにし、データと AI を民主化することです。 そのため、これらの機能をすべてのお客様に 追加料金なし で提供しています。 昨年 11 月、当社は、 データ インテリジェンス...
直感的かつパワフル！次世代のDatabricksノートブック
過去1年間、私たちはフィードバックに耳を傾け、新しいアイデアを試行錯誤してきました。その目的はただ一つ、データサイエンティスト、エンジニア、およびSQLアナリストのために、最高のデータ中心の開発体験を構築することです。そして本日、洗練されたモダンなインターフェースと強力な新機能を備えた次世代のDatabricksノートブックを発表できることを大変嬉しく思います。これにより、コーディングとデータ分析がさらに簡単になります。 主な 機能強化は次のとおりです。 最新のUX： 新しいノートブックUIとその他の機能のGAにより、コーディング体験がスムーズになり、ノートブックの整理が向上します。 新しい結果テーブル： 出力結果に対して直接検索やフィルタリングを実行し、コードなしでのデータ探索が可能です。 より強力なPython機能： ステップスルーのデバッガー、エラーの強調表示、強化されたコードナビゲーション機能を使用して、Pythonコードをより効率的に記述できます。 AIによる開発支援： Databricksアシスタント
Databricksアシスタントに自動補完機能が登場！
Databricks Assistant オートコンプリート のパブリックプレビューを発表できることを嬉しく思います。この機能は、リアルタイムでAI駆動のアシスタントがパーソナライズされたコード提案を提供します。ノートブックやSQLエディタに直接統合されており、Assistant Autocompleteの提案が開発の流れに自然に溶け込み、エディタに集中したまま作業を続けることができます。 AI によるコード提案で生産性を向上 Databricks Assistant オートコンプリートは、SQLおよびPythonでの入力中に自動的に高速なコード提案を提供します。AIコード補完は、現在のコードセルや周囲のコードセル、Unity Catalogメタデータ、DataFrameデータなどのコンテキストを使用して、入力中に非常に関連性の高い提案を生成します。 SQL Python Databricks Assistant Autocompleteを最大限に活用する方法 Databricks Assistant Autoc
Databricks が AWS GovCloud 上で FedRAMP High agency ATO を取得、現在パブリックプレビュー中
私たちは、Databricks on AWS GovCloudが現在 パブリックプレビュー 中であること、そして最近、最初の FedRAMP® High Agency ATO を獲得したことを発表できることを嬉しく思います！ 国際武器取引規制（ITAR）およびHIPAAのユースケースをサポートする準備が整いました。間もなく国防総省影響レベル 5 (IL5) の暫定認可が得られる予定です。 本日の発表は、Databricks にとってエキサイティングな コンプライアンスマイルストーン の最新版です。 これは、FedRAMP Highのスポンサー機関とプレビューのお客様の功績を称えるものであり、 米国市民権移民サービス 、メディケアおよびメディケイドサービスセンター、米国食品医薬品局のような公共部門のお客様が、市民サービスの向上とミッションの成功を達成するためのデータインテリジェンスの約束を実現するための支援に重点を置いていることを反映しています。...
Unity Catalog Lakeguard：業界初、マルチユーザーのApache Sparkクラスター向けのデータガバナンス
Unity Catalog Lakeguardを発表できることを嬉しく思います。これにより、Databricksデータインテリジェンスプラットフォームのコスト効率の高いマルチユーザーコンピューティング上で完全なデータガバナンスを備えたSQL、Python、ScalaでApache Spark™ ワークロードを実行できるようになります。 従来、ガバナンスを強化するにはシングルユーザークラスターを使用する必要があり、コストと運用のオーバーヘッドを負担する必要がありました。 Lakeguardを使用すると 、ユーザーコードは他のユーザーのコードや共有コンピュート上のSparkエンジンから完全に分離された状態で実行されるため 、実行時に データガバナンス を強制する ことができます。 これにより、クラスターをチーム全体で安全に共有し、計算コストを削減し、運用の手間を最小限に抑えることができます。 Lakeguardは、 Unity Catalog の導入以来、不可欠な存在となっています。DBR 13.1ではPython