メインコンテンツへジャンプ

Mosaic AI Vector Searchのハイブリッド検索の一般提供を開始

Mosaic AI Vector Searchにおけるハイブリッド検索の一般提供開始を発表することを嬉しく思います。ハイブリッド検索は、事前に訓練された埋め込みモデルの強みとキーワード検索の柔軟性を組み合わせた強力な機能です。このブログ投稿では、ハイブリッド検索がなぜ重要で、どのように機能し、どのようにして検索結果を改善するためにそれを使用できるかを説明します。 ハイブリッド検索の理由は何ですか? 事前学習済みの埋め込みモデルは、非構造化データを表現する強力な方法であり、意味を圧縮し、簡単に検索可能な形式で捉えます。しかし、それは外部データを使用して訓練されており、あなたのデータについての明確な知識はありません。ハイブリッド検索は、ベクトル検索インデックスの上に学習したキーワード検索インデックスを追加します。キーワード検索インデックスはあなたのデータで訓練されており、そのため、あなたの検索状況に重要な名前、製品キー、その他の識別子についての知識を持っています。 ハイブリッド検索を選ぶタイミング ハイブリッド検索は

AI/BI Genieの利用を開始する

Databricksでは、地球上のすべての人々がデータとAIにアクセスできるようにしたいと考えています。これが、ビジネスユーザーが、SQLを話すこともコードを書くこともなく、信頼できる洞察を迅速かつ正確に得ることができるようにする AI/BI のようなソリューションを構築している理由です。 現在、ダッシュボードはほとんどの人々の日常生活の一部となっています。一方、 AI/BI Genie は新しい経験であり、まだ多くの人々が馴染みがないかもしれません。Genieを使用すると、ユーザーは自己サービスで、ダッシュボードで対処されていない質問に対する答えを得ることができ、BIツールの使用方法を学んだり、専門家に洞察を作成してもらうことなく、答えを得ることができます。この背景を踏まえて、ジニーの一日を見てみると、どのように使用するか、何を期待するかを理解するのに役立つかもしれません。 「新入社員」としてのGenieへのオリエンテーション 一部の人々は、Genieを作成するプロセスを、新しいアナリストをデータチームに雇うこ

Databricks on Google CloudでサーバーレスSQLの一般提供を開始

本日、 Databricks SQL Serverless がGoogle Cloud Platform(GCP)で一般提供開始されたことをお知らせします。Databricks SQL Serverlessは、データインテリジェンスプラットフォームの主要コンポーネントとして、瞬時に伸縮自在なコンピューティングにより最高のパフォーマンスを提供し、コストを削減して、インフラストラクチャの管理ではなくビジネス価値の提供に集中できるようにします。この一般提供リリースは、最高のデータウェアハウスはレイクハウスであり、データレイクとウェアハウスを統合して統一的なアプローチを提供するという私たちの信念を強化します。SQL Serverlessは現在、7つのGCPリージョンと、すべての主要なクラウドプロバイダー( AWS 、 Azure 、GCP)の40以上のリージョンで利用可能です。 GCP上のDatabricks SQL Serverlessの利点 過去数年間で、レイクハウス専用に設計されたデータウェアハウスであるDatab

Databricks Unity Catalog による行レベルおよび列レベルのセキュリティの一般提供開始のお知らせ

AWS 、 Azure 、 GCP 上の Unity Catalog で行フィルターと列マスクが一般提供されることをお知らせします。テーブル内の行と列に対するきめ細かなアクセス制御を管理することは、データセキュリティを確保し、コンプライアンスを満たすために不可欠です。 Unity Catalog を使用すると、標準の SQL 関数を使用して行フィルターと列マスクを定義し、行と列に対するきめ細かいアクセス制御が可能になります。 行フィルターを使用すると、組織内のグループとユーザーの階層に表示されるテーブルの行のサブセットを制御できます。 列マスクを使用すると、同じディメンションに基づいてテーブルの値を編集できます。 「Unity Catalog のおかげで、データ資産の統一されたビューを作成できるようになり、BlackBerry 内のチーム間のコラボレーションが簡素化されました。 現在、アクセス権限を管理し、レイク内のファイルまたはテーブルを監査するための標準的なアプローチがあり、行と列に対するきめ細かなアクセス制

LakeFlow Connectで実現:SQL Server、Salesforce、Workdayからのデータ取り込み

SQL Server、Salesforce、Workday用の LakeFlow Connect のパブリックプレビューを発表することを楽しみにしています。これらの取り込みコネクタは、データベースやエンタープライズアプリからのシンプルで効率的な取り込みを可能にします。これは、インクリメンタルなデータ処理とスマートな最適化によって支えられています。LakeFlow Connectはデータインテリジェンスプラットフォームのネイティブ機能であるため、サーバーレスコンピューティングとUnity Catalogガバナンスの両方を提供します。つまり、組織がデータの移動に費やす時間を減らし、それから価値を得るための時間を増やすことができるということを意味します。 より広範に言えば、これはData + AI Summitで発表した取り込み、変換、オーケストレーションの統一ソリューションである LakeFlow を用いて、Databricks上のデータエンジニアリングの未来を実現するための重要なステップです。LakeFlow Co

データ共有の民主化!プラットフォームに縛られないアプローチとは?

すべての業界の企業が、協力を促進し、イノベーションを加速するために、互いにデータを共有したいと考えています。しかし、これらの組織はしばしば異なるデータやクラウドプラットフォームを使用しており、これが摩擦を生じさせたり、協力を阻害したりします。DatabricksとLinux Foundationは、Delta Sharingを開発し、プラットフォーム、クラウド、地域間でのデータ共有に対する初のオープンソースアプローチで、データ交換の民主化における重要なマイルストーンを達成しました。 Delta Sharing を使用すると、顧客は自身のプラットフォームと顧客ベース内での協力に限定されることなく、すべての顧客、パートナー、その他の協力者とデータを共有することができます。 2022年にDelta Sharingの一般提供を発表して以来 、多くの企業がそれを採用し、クラウドやプラットフォームに関係なく、顧客やパートナーとの連携を最大化しています。Databricksの顧客は、Databricks-to-Databric

Unity Catalogでの発見を加速!新しくなったカタログエクスプローラーの魅力

日々のやり取りを効率化するために改良された カタログエクスプローラー が、Unity Catalog 対応のワークスペース全体で利用できるようになりました。 カタログ エクスプローラーは、 Unity Catalog での検出とガバナンスのプロセスを一元的に管理するツールとして機能し、すべてのデータとAIアセットを検索して管理できます。 このブログでは、カタログ エクスプローラー エクスペリエンスの 5 つの主要な更新内容 (新しいクイック アクセス エクスペリエンス、合理化されたナビゲーション、更新された資産概要ページ、リネージ保持の向上、エンティティ リレーションシップ ダイアグラム) について説明します。 クイックアクセスエクスペリエンスの更新 新しいクイックアクセスセクションで簡単に作業に戻ることができます。...

Unity Catalogのオープンソース化を発表します!

Translation Review by saki.kitaoka Unity Catalogのオープンソース化を発表できることを非常に嬉しく思います。 これは、クラウド、データ形式、データプラットフォーム全体でデータとAIのガバナンスを行う業界初のオープンソースカタログです。ここでは、Unity Catalogビジョンの最も重要な柱をご紹介します: オープンソースのAPIと実装: OpenAPI仕様に基づいて構築され、Apache 2.0ライセンスのもとでオープンソースのサーバー実装があります。Apache HiveのメタストアAPIやApache IcebergのRESTカタログAPIとも互換性があります。 マルチフォーマットサポート: 拡張性があり、Delta Lake、UniForm経由のApache Iceberg、Apache Parquet、CSVなど、すべての形式をサポートします。 マルチエンジンサポート: オープンAPIを使用して、Unityにカタログされたデータはほぼすべてのコンピュートエン

Databricks LakeFlowの登場: データエンジニアリングのための統一されたインテリジェントソリューション

Translation Review by saki.kitaoka 本日、私たちはDatabricks LakeFlowを発表します。これは、プロダクションデータパイプラインを構築および運用するために必要なすべてを含む新しいソリューションです。MySQL、Postgres、SQL Server、Oracleなどのデータベースや、Salesforce、Microsoft Dynamics、NetSuite、Workday、ServiceNow、Google Analyticsなどの企業アプリケーション向けの新しいネイティブで高スケーラビリティのコネクタが含まれています。ユーザーは標準SQLおよびPythonを使用して、バッチおよびストリーミングでデータを変換できます。 さらに、Apache Spark向けのリアルタイムモードを発表し、従来のマイクロバッチよりもはるかに高速なレイテンシでストリーム処理が可能になります。最後に、CI/CDを使用してワークフローをオーケストレーションおよびモニタリングし、本番環境にデプ

Data + AI Summit 2024:データ共有とコラボレーションの最新情報

Translation Review by saki.kitaoka Databricksでは、データとAIの民主化をミッションとしています。オープンなアプローチによる共有とコラボレーションは、そのリーチとインパクトを最大化するために重要です。当社のデータインテリジェンスプラットフォーム内では Delta Sharing オープンプロトコルが顧客のデータとAI資産の共有を簡単かつ安全にし、イノベーションを加速させます。サードパーティデータとのコラボレーションには、 Databricks Marketplace がすべてのデータ、分析、AIのニーズに対応するオープンマーケットプレイスを提供します。データパートナーのエコシステムが拡大する中で、さまざまなデータとAI資産を共有し、データ消費者がイノベーションを実現できるようにします。 Databricks Clean Rooms は、ビジネスがどのクラウド上でも安全な環境で簡単にコラボレーションできるプライバシー保護されたコラボレーションを提供します。先週、Delta