メインコンテンツへジャンプ
ログイン
      • Databricks を知る
        • エグゼクティブ向け
          • スタートアップ向け
            • レイクハウスアーキテクチャ
              • Mosaic Research
              • 導入事例
                • 注目の導入事例
                • パートナー
                  • クラウドプロバイダ
                    Databricks on AWS、Azure、GCP
                    • コンサルティング・SI
                      Databricks の構築・デプロイ、Databricks への移行のエキスパート
                      • 技術パートナー
                        既存のツールをレイクハウスに接続
                        • C&SI パートナー
                          レイクハウスの構築・デプロイメント、レイクハウスへの移行
                          • データパートナー
                            データコンシューマーのエコシステムにアクセス
                            • パートナーソリューション
                              業界・移行のニーズに応じたカスタムソリューション
                              • Databricks で構築
                                ビジネスの創造・マーケティング・成長
                              • Databricks プラットフォーム
                                • プラットフォームの概要
                                  データ・分析・AI のための統合プラットフォーム
                                  • データ管理
                                    データの信頼性・セキュリティ・パフォーマンス
                                    • 共有
                                      オープン、セキュア、ゼロコピーでのデータ共有
                                      • データウェアハウジング
                                        バッチ、ストリーミングデータのための ETL とオーケストレーション
                                        • ガバナンス
                                          データ・分析・AI のための統合ガバナンス
                                          • データエンジニアリング
                                            バッチ、ストリーミングデータのための ETL とオーケストレーション
                                            • 人工知能(AI)
                                              ML と生成 AI アプリケーションの構築とデプロイメント
                                              • データサイエンス
                                                データサイエンスの大規模な連携
                                                • BI
                                                  実世界データのインテリジェント分析
                                                  • アプリケーション開発
                                                    安全なデータと AI アプリを迅速に構築
                                                    • データベース
                                                      データアプリとAIエージェントのための Postgres
                                                    • 統合とデータ
                                                      • マーケットプレイス
                                                        データ、分析、AI のためのオープンマーケットプレイス
                                                        • IDE 統合
                                                          お気に入りの IDE(統合開発環境)でレイクハウスを構築
                                                          • パートナーコネクト
                                                            Databricks エコシステムの検索と統合
                                                          • ご利用料金
                                                            • Databricks のご利用料金
                                                              料金設定、DBU、その他
                                                              • コスト計算ツール
                                                                クラウド利用でのコンピュートコストの試算
                                                              • オープンソース
                                                                • オープンソーステクノロジー
                                                                  プラットフォームを支えるイノベーションをもっと詳しく
                                                                • 業界向け Databricks
                                                                  • 通信
                                                                    • メディア・エンターテイメント
                                                                      • 金融サービス
                                                                        • 官公庁・公共機関
                                                                          • 医療・ライフサイエンス
                                                                            • リテール・消費財
                                                                              • 製造
                                                                                • 全て見る
                                                                                • クロスインダストリーソリューション
                                                                                  • サイバーセキュリティ
                                                                                    • マーケティング
                                                                                    • 移行・デプロイメント
                                                                                      • データの移行
                                                                                        • プロフェッショナルサービス
                                                                                        • ソリューションアクセラレータ
                                                                                          • ソリューションアクセラレータ一覧
                                                                                            成果を加速
                                                                                          • トレーニング・認定試験
                                                                                            • トレーニング概要
                                                                                              ニーズに合わせたカリキュラムを探す
                                                                                              • Databricks アカデミー
                                                                                                Databricks ラーニングプラットフォームにサインインする
                                                                                                • 認定
                                                                                                  スキル・認定で差別化を図る
                                                                                                  • 無料版
                                                                                                    専門家向けデータとAIツールを無料で学べます
                                                                                                    • 大学との連携
                                                                                                      Databricks を教材として活用
                                                                                                    • イベント
                                                                                                      • DATA+AI サミット
                                                                                                        • Data+AI ワールドツアー
                                                                                                          • Data Intelligence Days
                                                                                                            • イベントカレンダー
                                                                                                            • ブログ・ポッドキャスト
                                                                                                              • Databricks ブログ
                                                                                                                最新情報、製品発表、その他の情報
                                                                                                                • Databricks Mosaic AIリサーチブログ
                                                                                                                  AI世代に関する最新リサーチ
                                                                                                                  • Data Brew ポッドキャスト
                                                                                                                    ご相談・お問い合わせ
                                                                                                                    • ポッドキャスト:Data+AI のチャンピオン
                                                                                                                      イノベーションを支えるデータリーダーのインサイト
                                                                                                                    • お役立ちリソース
                                                                                                                      • カスタマーサポート
                                                                                                                        • ドキュメント
                                                                                                                          • コミュニティ
                                                                                                                          • もっと詳しく
                                                                                                                            • リソースセンター
                                                                                                                              • デモセンター
                                                                                                                                • アーキテクチャ センター
                                                                                                                                • 企業概要
                                                                                                                                  • Databricks について
                                                                                                                                    • 経営陣
                                                                                                                                      • Databricks Ventures
                                                                                                                                        • ご相談・お問い合わせ
                                                                                                                                        • 採用情報
                                                                                                                                          • 採用情報概要
                                                                                                                                            • 求人情報
                                                                                                                                            • プレス・ニュース記事
                                                                                                                                              • ニュースルーム
                                                                                                                                                • 受賞歴と業界評価
                                                                                                                                                • セキュリティと信頼
                                                                                                                                                  • セキュリティと信頼
                                                                                                                                              • 是非ご検討ください!
                                                                                                                                              • デモを見る
                                                                                                                                              • ログイン
                                                                                                                                              • Databricks 無料トライアル
                                                                                                                                              1. ブログ
                                                                                                                                              2. /
                                                                                                                                                ソリューション
                                                                                                                                              3. /
                                                                                                                                                記事

                                                                                                                                              AIデータの簡素化

                                                                                                                                              進化したフィーチャーストア

                                                                                                                                              The Simplification of AI Data

                                                                                                                                              Published: August 28, 2023

                                                                                                                                              ソリューション1分未満

                                                                                                                                              マニ・パルケ、クレイグ・ワイリー、Patrick Wendell(パトリック・ウェンデル)、Matei Zaharia による投稿

                                                                                                                                              この投稿を共有する

                                                                                                                                              最新の投稿を通知します

                                                                                                                                              翻訳:Junichi Maruyama.  -  Original Blog Link

                                                                                                                                              どのデータサイエンス組織と話しても、高品質なAIモデルを構築するための最大の課題はデータへのアクセスと管理であると、ほぼ全員が口を揃えて言うだろう。長年にわたり、実務家は実験と開発を加速させるために様々なテクノロジーと抽象化を利用してきた。ここ数年、フィーチャーストアは、機械学習のためにデータを整理し準備する方法として、実務家の間でますます普及している。2022年初頭、Databricksはフィーチャーストアの一般提供を開始しました。この夏、Databricks Unity Catalogのネイティブ機能としてフィーチャーエンジニアリングと管理を導入できることを嬉しく思います。これは、AIデータをよりシンプルに管理する方法の大きな進化を意味します。この進化は、フィーチャー管理とクラス最高のデータカタログを一体化させ、フィーチャーを作成し、それらを使用してモデルをトレーニングし、サービスを提供するプロセスを簡素化し、安全にします。

                                                                                                                                              Unityカタログのフィーチャーエンジニアリング:MLデータの一元化に向けた一歩

                                                                                                                                              フィーチャーストアは、2つの主要な要件を満たすように設計されたカタログの一種です。それは、MLデータの容易な発見と利用を促進すること、そして、安定した高品質なデータを高性能なモデル学習・提供システムが容易に利用できるようにすることです。フィーチャーストアは、データサイエンティストが組織で利用可能な新しいフィーチャーを簡単に発見し、新しいフィーチャーを追加し、MLアプリケーションでそれらを簡単に直接使用できるようにします。

                                                                                                                                              Unity Catalogは、LakehouseとDatabricksのワークスペースを横断して、一元化されたアクセス制御、共有、監査、リネージ、データ発見機能を提供します。フィーチャーストアの顧客と仕事をする中で、彼らはフィーチャーの共有やガバナンスといったUnityカタログの機能を何度も求めてきました。そして、次第に明らかになっていった......「なぜ2つのカタログを別々に持つのか:一つは自分の機能用、もう一つはそれ以外のもの用?」

                                                                                                                                              ユニティ・カタログ・エクスペリエンスに統一されたフィーチャーを実装し始めたら、このフィーチャーストアの進化が、AI開発のワークフローの多くの側面にどれほどの影響を与えるかは明らかだった。

                                                                                                                                              ベストなフィーチャーストアはレイクハウス

                                                                                                                                              Unity Catalogのフィーチャーエンジニアリングは、Lakehouseを管理するカタログであるUnity Catalogにフィーチャーストア機能を直接組み込むことで、モデルのトレーニングとデプロイを簡素化します。

                                                                                                                                              • 機能の発見をシンプルに: Unity Catalogは、テーブル、フィーチャー、モデル、ファンクションなど、Lakehouseのすべてのエンティティをワンストップで検索できます。同じデータに対して複数のディスカバリーシステムを持つ必要はありません。
                                                                                                                                              • フィーチャーを管理、共有できます: Unity Catalogは、すべてのエンティティ(テーブル、ファンクション、モデル)の統一されたエンタープライズレベルのガバナンスを提供します。また、ガバナンスが許可されていることを前提に、チームがワークスペース間でフィーチャーを簡単に共有できるように、行レベル、列レベルのセキュリティやポリシーなどのツールも提供します。Unity Catalogがより豊富なガバナンスとセキュリティの機能を追加して進化すると、フィーチャーは自動的にそれらの機能を取得します。
                                                                                                                                              • データコピーなし: 同じテーブルをMLや他のデータアプリケーション、BIダッシュボードのフィーチャーソースとして使用できます。Deltaは、これらの異なるアプリケーションをネイティブにサポートするように構築されているため、データをコピーしたり、異なるアプリケーション用に個別にキャッシュしたりする必要はありません。AIデータが同期されなくなることはありません。
                                                                                                                                              • ビルトインの系統グラフは、エンティティ間の関係をナビゲートするのに役立ちます: これは、顧客が正しいデータでトレーニング/サービスを行っていることを確認するのに役立ち、単一の統一されたグラフを使用してモデルからフィーチャーまで遡ることで、エラーやモデル性能の変化をデバッグできます。

                                                                                                                                              プライマリ・キーを持つテーブルはすべて、モデルを訓練し機能させるための特徴として使用できます

                                                                                                                                              組織は通常、一貫性を維持し、企業ポリシーが Lakehouse 内のすべてのデータセットに適用されるようにするために、すべてのデータエンジニアリングパイプラインを単一の ELT フレームワークで標準化したいと考えています。フィーチャーエンジニアリング機能をUnity Catalogに統合することで、組織は同じ標準化されたELTフレームワークを使用して、フィーチャーエンジニアリングパイプラインを作成および維持することができます。

                                                                                                                                              Unity Catalogで新しいフィーチャーを作成するプロセスを簡素化するために、SQL構文をアップグレードし、PRIMARY KEY制約の一部としてTIMESERIES句をサポートしました。これにより、モデルのトレーニングやスコアリングにフィーチャーを自動的に使用するアプリケーションは、適切なポイントインタイムジョインを実行できるようになります[AWS][Azure][GCP]

                                                                                                                                              顧客は、自前のフィーチャーストアの実装、オープンソースライブラリ、またはベンダーの DSL を使用して作成された既存のフィーチャーテーブルを持っているかもしれません。これらの Delta テーブルに PRIMARY KEY 制約を追加することで、これらのフィーチャーを直接使用して、ML モデルをトレーニングし、提供することができます。

                                                                                                                                              自動のリネージュ追跡により、トレーニング/サービングの偏りを排除

                                                                                                                                              特徴量を使用して Databricks 上でトレーニングされた MLflow モデルでは、モデル・トレーニングで使用された特徴量へのリネージュが自動的に取得されます。このリネージュは、モデル内の feature_spec.yaml アーティファクトとして保存されます。これは、ユーザがモデルとフィーチャーのマッピングを独自に管理する必要がないというペインポイントに対応します。推論システムは、この仕様と特徴のメタデータをモデルのスコアリングに使用することができる。さらに、この情報は、モデルに必要なすべての機能と、ある機能からその機能を使用するすべてのモデルへのフォワードリンクを表示するリネージュグラフシステムにも使用できます。

                                                                                                                                              特徴量は自動的にモデルに提供される

                                                                                                                                              Databricks Model Servingでモデルがデプロイされると、システムは推論に必要な特徴量をリネージで追跡し、Lakehouseの適切なオンラインテーブルを使用して特徴量を提供します。これにより、MLOpsエンジニアがモデルスコアリングのために記述する必要があるコードが簡素化されます。必要なIDでモデル提供エンドポイントを呼び出すだけで、特徴量は自動的に検索される。さらに、モデル、フィーチャー、その他のデータ資産がUnityカタログにあるため、これらの資産へのアクセスはすべて同じエンタープライズガバナンスに従います。

                                                                                                                                              タグを使った機能のキュレーションと発見

                                                                                                                                              データサイエンティストは、Databricks Feature Store APIまたは他のELTフレームワークやSDKを使用して作成されたすべての特徴量を見つけることができます。Unity Catalogから特定のカタログを選択すると、プライマリキーを持つすべてのデルタテーブルを一覧表示できます。しかし、ユーザータグはこのキュレーションと発見の旅を簡素化し、以下のような様々なユースケースに対応します。

                                                                                                                                              • ユーザーは、よく使うMLデータテーブルのキュレーションセットを作成したい。
                                                                                                                                              • データサイエンティストは、お気に入りの特徴やテーブルの個人的なコレクションを作成したい。
                                                                                                                                              • チームは、MLユースケースのために高品質と思われる特徴のキュレーションセットを作成したい。

                                                                                                                                              Unityカタログの発見タグは、カタログとスキーマにまたがって適用できます。ユーザーは、テーブル、ビュー、モデル、関数などのさまざまなエンティティにこれらのタグを適用できます。Unity Catalogのユーザータグを探索するための追加ガイドラインは、以下のとおりです。 AWS, Azure, GCP.

                                                                                                                                              Unityカタログでフィーチャーエンジニアリングを始める

                                                                                                                                              左ナビゲーションの機械学習の下にあるFeaturesボタンをクリックすると、Lakehouseで新しいフィーチャーを発見することができます。カタログを選択することで、MLモデルの学習に特徴として使用できる既存のテーブルをすべて見ることができます。

                                                                                                                                              開始するには、Unityカタログドキュメントのフィーチャーエンジニアリングに従ってください。 AWS, Azure, GCP. このエンド・ツー・エンド notebookで始めることができる。

                                                                                                                                              最新の投稿を通知します

                                                                                                                                              関連記事

                                                                                                                                              Platform blog

                                                                                                                                              プラットフォーム

                                                                                                                                              June 28, 2023/1分未満

                                                                                                                                              Lakehouse AI: Generative AIアプリケーション構築のためのデータ中心アプローチ

                                                                                                                                              この投稿を共有する

                                                                                                                                              Databricksの投稿を見逃さないようにしましょう

                                                                                                                                              興味のあるカテゴリを購読して、最新の投稿を受信トレイに届けましょう

                                                                                                                                              Sign up

                                                                                                                                              次は何ですか?

                                                                                                                                              Introducing Collations to Databricks

                                                                                                                                              製品

                                                                                                                                              January 10, 2025/2分で読めます

                                                                                                                                              Databricksにコレーション機能が登場!

                                                                                                                                              DeepSeek R1 on Databricks

                                                                                                                                              お知らせ

                                                                                                                                              January 31, 2025/1分未満

                                                                                                                                              DeepSeek R1 on Databricks

                                                                                                                                              databricks logo
                                                                                                                                              Databricks を選ぶ理由
                                                                                                                                              Databricks を選ぶ理由
                                                                                                                                              • エグゼクティブ向け
                                                                                                                                              • スタートアップ向け
                                                                                                                                              • レイクハウスアーキテクチャ
                                                                                                                                              • Mosaic Research
                                                                                                                                              導入事例
                                                                                                                                              • 注目の導入事例
                                                                                                                                              パートナー
                                                                                                                                              • クラウドプロバイダ
                                                                                                                                              • 技術パートナー
                                                                                                                                              • データパートナー
                                                                                                                                              • Databricks で構築
                                                                                                                                              • コンサルティング・SI
                                                                                                                                              • C&SI パートナー
                                                                                                                                              • パートナーソリューション
                                                                                                                                              Databricks を選ぶ理由
                                                                                                                                              • エグゼクティブ向け
                                                                                                                                              • スタートアップ向け
                                                                                                                                              • レイクハウスアーキテクチャ
                                                                                                                                              • Mosaic Research
                                                                                                                                              導入事例
                                                                                                                                              • 注目の導入事例
                                                                                                                                              パートナー
                                                                                                                                              • クラウドプロバイダ
                                                                                                                                              • 技術パートナー
                                                                                                                                              • データパートナー
                                                                                                                                              • Databricks で構築
                                                                                                                                              • コンサルティング・SI
                                                                                                                                              • C&SI パートナー
                                                                                                                                              • パートナーソリューション
                                                                                                                                              製品
                                                                                                                                              レイクハウスプラットフォーム
                                                                                                                                              • プラットフォーム
                                                                                                                                              • 共有
                                                                                                                                              • データガバナンス
                                                                                                                                              • 人工知能(AI)
                                                                                                                                              • DBRX
                                                                                                                                              • データベース
                                                                                                                                              • データ管理
                                                                                                                                              • データウェアハウス
                                                                                                                                              • データエンジニアリング
                                                                                                                                              • データサイエンス
                                                                                                                                              • アプリケーション開発
                                                                                                                                              ご利用料金
                                                                                                                                              • 料金設定の概要
                                                                                                                                              • 料金計算ツール
                                                                                                                                              オープンソース
                                                                                                                                              統合とデータ
                                                                                                                                              • マーケットプレイス
                                                                                                                                              • IDE 統合
                                                                                                                                              • パートナーコネクト
                                                                                                                                              レイクハウスプラットフォーム
                                                                                                                                              • プラットフォーム
                                                                                                                                              • 共有
                                                                                                                                              • データガバナンス
                                                                                                                                              • 人工知能(AI)
                                                                                                                                              • DBRX
                                                                                                                                              • データベース
                                                                                                                                              • データ管理
                                                                                                                                              • データウェアハウス
                                                                                                                                              • データエンジニアリング
                                                                                                                                              • データサイエンス
                                                                                                                                              • アプリケーション開発
                                                                                                                                              ご利用料金
                                                                                                                                              • 料金設定の概要
                                                                                                                                              • 料金計算ツール
                                                                                                                                              統合とデータ
                                                                                                                                              • マーケットプレイス
                                                                                                                                              • IDE 統合
                                                                                                                                              • パートナーコネクト
                                                                                                                                              ソリューション
                                                                                                                                              業種別
                                                                                                                                              • 通信
                                                                                                                                              • 金融サービス
                                                                                                                                              • 医療・ライフサイエンス
                                                                                                                                              • 製造
                                                                                                                                              • メディア・エンタメ
                                                                                                                                              • 官公庁・公共機関
                                                                                                                                              • リテール・消費財
                                                                                                                                              • 全て表示
                                                                                                                                              クロスインダストリーソリューション
                                                                                                                                              • サイバーセキュリティ
                                                                                                                                              • マーケティング
                                                                                                                                              データの移行
                                                                                                                                              プロフェッショナルサービス
                                                                                                                                              ソリューションアクセラレータ
                                                                                                                                              業種別
                                                                                                                                              • 通信
                                                                                                                                              • 金融サービス
                                                                                                                                              • 医療・ライフサイエンス
                                                                                                                                              • 製造
                                                                                                                                              • メディア・エンタメ
                                                                                                                                              • 官公庁・公共機関
                                                                                                                                              • リテール・消費財
                                                                                                                                              • 全て表示
                                                                                                                                              クロスインダストリーソリューション
                                                                                                                                              • サイバーセキュリティ
                                                                                                                                              • マーケティング
                                                                                                                                              リソース
                                                                                                                                              ドキュメント
                                                                                                                                              カスタマーサポート
                                                                                                                                              コミュニティ
                                                                                                                                              トレーニング・認定試験
                                                                                                                                              • トレーニング
                                                                                                                                              • 認定
                                                                                                                                              • 無料版
                                                                                                                                              • 大学との連携
                                                                                                                                              • Databricks アカデミー
                                                                                                                                              イベント
                                                                                                                                              • DATA+AI サミット
                                                                                                                                              • Data+AI ワールドツアー
                                                                                                                                              • Data Intelligence Days
                                                                                                                                              • イベントカレンダー
                                                                                                                                              ブログ・ポッドキャスト
                                                                                                                                              • Databricks ブログ
                                                                                                                                              • Databricks Mosaic AIリサーチブログ
                                                                                                                                              • Data Brew ポッドキャスト
                                                                                                                                              • Data+AI のチャンピオンシリーズ
                                                                                                                                              トレーニング・認定試験
                                                                                                                                              • トレーニング
                                                                                                                                              • 認定
                                                                                                                                              • 無料版
                                                                                                                                              • 大学との連携
                                                                                                                                              • Databricks アカデミー
                                                                                                                                              イベント
                                                                                                                                              • DATA+AI サミット
                                                                                                                                              • Data+AI ワールドツアー
                                                                                                                                              • Data Intelligence Days
                                                                                                                                              • イベントカレンダー
                                                                                                                                              ブログ・ポッドキャスト
                                                                                                                                              • Databricks ブログ
                                                                                                                                              • Databricks Mosaic AIリサーチブログ
                                                                                                                                              • Data Brew ポッドキャスト
                                                                                                                                              • Data+AI のチャンピオンシリーズ
                                                                                                                                              企業情報
                                                                                                                                              企業概要
                                                                                                                                              • Databricks について
                                                                                                                                              • 経営陣
                                                                                                                                              • Databricks Ventures
                                                                                                                                              • ご相談・お問い合わせ
                                                                                                                                              採用情報
                                                                                                                                              • 採用情報概要
                                                                                                                                              • 求人情報
                                                                                                                                              プレス・ニュース記事
                                                                                                                                              • ニュースルーム
                                                                                                                                              • 受賞歴と業界評価
                                                                                                                                              セキュリティと信頼
                                                                                                                                              企業概要
                                                                                                                                              • Databricks について
                                                                                                                                              • 経営陣
                                                                                                                                              • Databricks Ventures
                                                                                                                                              • ご相談・お問い合わせ
                                                                                                                                              採用情報
                                                                                                                                              • 採用情報概要
                                                                                                                                              • 求人情報
                                                                                                                                              プレス・ニュース記事
                                                                                                                                              • ニュースルーム
                                                                                                                                              • 受賞歴と業界評価
                                                                                                                                              databricks logo

                                                                                                                                              Databricks Inc.
                                                                                                                                              160 Spear Street, 15th Floor
                                                                                                                                              San Francisco, CA 94105
                                                                                                                                              1-866-330-0121

                                                                                                                                              採用情報

                                                                                                                                              © Databricks 2025. All rights reserved. Apache, Apache Spark, Spark and the Spark logo are trademarks of the Apache Software Foundation.

                                                                                                                                              • プライバシー通知
                                                                                                                                              • |利用規約
                                                                                                                                              • |現代奴隷法に関する声明
                                                                                                                                              • |カリフォルニア州のプライバシー権利
                                                                                                                                              • |プライバシー設定