Unity Catalogがもたらす価値は何か？
Reviewed by saki.kitaoka ガバナンスは、データとAI製品が正確なガイドラインと標準に従って一貫して開発され、維持されることを保証します。 アーキテクトのための設計図であり、一貫性、ガイドライン、標準によってソリューションとデータビジョンに命を吹き込みます。 反復可能なワークフロー管理により、データエンジニアのためのスケールとスピードを実現します。 データサイエンティストのためのAIモデルを共同で構築し、運用することで、スケールの大きな運用を可能にします。 データ資産を広く共有し、すべての人に利益をもたらすと同時に 、必要なときには非公開にする、データ管理者のためのセキュリティです。 データとAI資産に基づくビジネス洞察の透明性を備えた、経営幹部にとっての信頼です。 また、 Databricks Unity Catalogを 使用することで、業務効率を高めることができます。 このブログでは、企業がユニファイド・ガバナンス・ソリューションを標準化する前に直面する多くの課題の概要を説明し、テクノロ
Databricksをユーザが容易に利用できるようにするために、新しいIDとアクセス管理の機能強化を発表
Databricks のセットアップとスケールを簡素化する新しいアイデンティティとアクセス管理機能をご紹介します。Unity Catalogは Databricks Data Intelligence Platform におけるガバナンスの中心にあります。Unity Catalogの一部であるIDおよびアクセス管理機能は、以下の原則に基づいて設計されています： オンボーディング、管理、コラボレーションのための、セキュアでスケーラブル、かつ汎用的なアイデンティティおよびアクセス管理を構築します。 直感的で拡張可能な監査対応パーミッションを使用して、顧客がDatabricksへのアクセスを容易に制御できるようにします。 ブラウザおよび API アクセスのための、ワールドクラスで拡張性の高い認証を開発し、顧客およびパートナーが Databricks Data Intelligence Platform のパワーをシンプルかつ安全に活用できるようにします。 このブログでは、既存のアイデンティティおよびアクセス管理機能につ
Databricksの小売業向けデータ・インテリジェンス・プラットフォームがNRF 2024に登場！
NRFでDatabricksのエグゼクティブ/ソートリーダーとのミーティングをリクエストしてください！ 毎年1月、世界中の小売企業のリーダー数千人が、ニューヨークのジャビッツ・センターに集い、リテールズ・ビッグ・ショーに参加します。NRFは、リーダーたちが同業者からソート・リーダーシップを聞き、パートナーと会い、イノベーションの世界で最新かつ最高のものを目にする機会です。 私たちは、AIがあらゆるところに活用されることを期待しています。すでに多くの企業が、パンフレットだけではわからない顧客のマインドシェアを獲得するために、製品名をAIに適した名前に変更し始めています。しかし、クリエイティブなブランディングだけでなく、AIを単なるコンセプトから製品化することにも課題があるのが現実です。 そのため今年は、画期的なデータ・インテリジェンス技術を中心に多くの議論が交わされることが予想されます。適切なデータ・プラットフォームがあれば、AIは在庫プランナーから商品プランナーまで、あらゆる役割に真に民主化することができます。
SAP Datasphere と Databricks Data Intelligence Platform でマーケティングキャンペーンの効果を分析する
効果的なキャンペーンは、商品の売上を増やし、在庫を処分し、顧客を増やし、新商品を紹介することで、企業の収益を向上させることができます。キャンペーンには、オフラインまたはオンラインチャネルを通じた販売促進、クーポン、リベート、季節割引などが含まれます。 そのため、キャンペーンを綿密に計画し、その効果を確実にすることが重要です。キャンペーンが販売成績に与える影響を分析することも同様に重要です。効率的な分析により、企業は過去のキャンペーンから学び、今後の販売促進を改善することができます。 チャレンジとモチベーション： 過去のデータを分析し、マーケティングキャンペーンのために正確な機械学習予測を行うことは、非常に困難なことです。それぞれのキャンペーンには独自の指標があり、それぞれのケースに合った分析アプローチを適応させる必要があります。さらに、キャンペーンではさまざまなデータソースやプラットフォームを利用するため、データ形式や構造も多種多様になります。これらの多様なソースからのデータを統合データセットに統合することは困難
Databricks @ AFROTECH
"AFROTECHは洞察に富んでいるだけでなく、私の技術分野への帰属意識を大いに高めてくれました！業界で新しい人脈を作れただけでなく、Databricksの他の黒人社員との絆も深まりました" - フェリス・カブラル（Black Employee Network ERGリード兼シニア採用コーディネーター） Black, bold and big on Data 今年11月、Databricksはテキサス州オースティンに戻り、米国最大の黒人技術者会議である AFROTECH™ カンファレンスに参加しました。AFROTECHは、活気に満ちたエネルギッシュでダイナミックな空間で、ユニークな学習とネットワーキングの機会を求めてブラックテック・コミュニティが一堂に会します。 業界のリーダーや団体が一堂に会し、新たなトレンドを共有し、次世代のイノベーターに刺激を与えています。 Databricksでは、自社の社員であるBrickstersに専門能力開発の機会やカンファレンスに参加することを奨励することで、レベルを上げることがで
サンタクロースもAIフィーバー
サンタクロースは北極株式会社のCEOとして、世界で最も複雑なサプライチェーン、製造、物流業務を監督しています。 毎年、サンタと最高執行責任者（COO）であるサンタ夫人、そして妖精さんのチームは、世界中の子どもたちから届く何百万通もの手紙を読み、「いたずらっ子リスト」や「いい子リスト」と照らし合わせ、彼らが欲しいプレゼントを登録し、そして何百万ものプレゼントを作り、たった一晩ですべてを届けなければなりません。 サンタとそのクルーはこれらを簡単に行なっているように見せていますが、運営上は悪夢のような作業であり、依然として大部分が手作業で行われています。そのため、他の多くのビジネスリーダーと同様、サンタも AIがどのように役立つ かを知りたがっていました。そこで彼はDatabricksに助けを求めました。 Foundation Model API などのDatabricksツールと、合成データ生成や名前付きエンティティ認識などのテクニックを使って、サンタに宛てた子供たちの手紙を分析し、それぞれの子供が欲しいプレゼントを
AIセキュリティリスクの管理：CISOのための新しいワークショップの紹介
AIの導入は、ほとんどの企業にとって必要不可欠である Machine Learning（ML）とジェネレーティブAI（GenAI）は、仕事の未来に革命を起こそうとしている。組織は、AIがイノベーションの構築、競争力の維持、従業員の生産性向上に役立っていることを理解している。同様に、企業は自社のデータがAIアプリケーションに競争上の優位性をもたらすことを理解している。これらのテ クノロジーは、組織にとってチャンスであると同時に潜在的なリスクでもある。 顧客との会話では、データ損失、データポイズニング、モデルの盗難、コンプライアンスや規制の課題といったリスクが頻繁に挙げられている。最高情報セキュリティ責任者（CISO）は、こうしたリスクを迅速に軽減しながら、ビジネスのニーズに適応する必要に迫られている。しかし、CISOがビジネスにノーと言えば、チームプレーヤーではなく、企業を第一に考えているとみなされる。逆に、リスクのあることにイエスと言えば、不注意だと思われる。CISOは、ビジネスの成長、多様化、実験に対する意欲に追
オフラインLLM評価：Databricks上での段階的なGenAIアプリケーション評価
背景 RAG（Retrieval-Augmented Generation）がAIを駆使したアプリケーションとの関わり方に革命をもたらす時代において、これらのシステムの効率性と有効性を確保することは、かつてないほど不可欠なことである。DatabricksとMLflowはこの革新の最前線にあり、GenAIアプリケーションの重要な評価のための合理化されたソリューションを提供している。 このブログポストでは、Databricks Data Intelligence Platformを活用いて、GenAIアプリケーションの3つのコアコンポーネント（プロンプト、検索システム、Foundation LLM）の品質を強化および評価し、GenAIアプリケーションの継続的な品質を確保するためのするためにシンプルで効果的なプロセスを紹介する。 ユースケース MLflowのドキュメントの質問に回答し、その結果を評価するQAチャットボットを作成する。 Databricksで外部モデルを設定する Databricksの モデルサービング
R開発者にレイクハウスを：Databricks Connectがsparklyrで利用可能に
CRAN 上の sparklyr の最新リリースに Databricks Connect のサポートが導入されたことをお知らせで きることを嬉しく思います。R ユーザーは、リモートの RStudio Desktop、Posit Workbench、またはアクティブな R ターミナルやプロセスから、Databricks のクラスタリングと Unity Catalog にシームレスにアクセスできるようになりました。今回のアップデートにより、R ユーザーであれば誰でも、わずか数行のコードで Databricks を使ってデータアプリケーションを構築できるようになりました。 Sparklyr と Python...
レイクハウス・モニタリング: データとAIの品質監視のための統合ソリューション
はじめに Databricks Lakehouse Monitoring (レイクハウス・モニタリング)を使用すると、データからフィーチャー、MLモデルまで、すべてのデータパイプラインを追加のツールや複雑な操作なしに監視できます。 Unity Catalog に組み込まれているため、ガバナンスと並行して品質を追跡し、データとAI資産のパフォーマンスについて深い洞察を得ることができます。Lakehouse Monitoringは完全にサーバーレスなので、インフラストラクチャやコンピュート構成のチューニングを心配する必要はありま せん。 Lakehouseのモニタリングに対する統一されたアプローチにより、 Databricks Data Intelligence Platform で直接、品質の追跡、エラーの診断、ソリューションの検索が簡単に行えます。Lakehouse Monitoringを最大限に活用する方法を本記事ではご紹介します。 なぜレイクハウス・モニタリングなのか？ データパイプラインは順調に動いているよう