DatabricksIQ LLMの品質向上 - AIによるテーブル説明文の生成
最近、 Unity CatalogのAI生成コメント をサポートする基礎となるアルゴリズムに大幅な改善を加えました。 その結果を皆さんにお伝えできることを嬉しく思います。Databricks のデータインテリジェンスエンジンである DatabricksIQ を通じて、AIによって生成されたコメントは、顧客のUnity Catalogテーブルの新しいドキュメントの大部分をすでに生成しており、最近の機能強化は、この非常に人気のある機能をさらに強化します。 このブログでは、トレーニングデータの合成に更新されたオープンソースLLMを使用する方法、トレーニングデータのクリーニングにヒューリスティックフィルターを使用する方法、ファインチューニング用に更新されたベースモデルを使用する方法、および自動ベンチマークで利用される拡張評価セットを使用する方法について説明します。最小限の労力で、これらの変更により、 オフライン ベンチマークで以前に導入されたモデルと比較して、優先率が 2倍に増加し ました。 さらに広い意味では、この取り
Databricks Generative AIハッカソン受賞者発表
Databricks Generative AIハッカソンの受賞者を発表できることを嬉しく思います。 このハッカソンには、18カ国以上から60の招待企業にまたがる数百人のデータとAIの実務家が集まりました。 イベント期間中、参加者はDatabricksテクノロジーを活用し、RAG（Retrieval Augmented Generation）を利用してさまざまなユースケースを解決しました。応募 作品は、 技術的な卓越性、創造性、潜在的な影響力 に基づいて評価されました。このイベントは、参加者がDatabricksベクトル検索、データ準備、モデルサービングを実際に体験する初めてのハッカソンでした。多くのインパクトのあるプロジェクトがありましたが、中でも3つのチームは、顧客体験に取り組む現実的なユースケースで際立っていました。 インパクトのあるプロジェクトを創造し、生成AIでビジネスを変革した受賞チームの皆さん、おめでとうございます！ 受賞者 🏆 第1 位： HEB - "Shop It Easy" - Datab
Unity Catalog Lakeguard：業界初、マルチユーザーのApache Sparkクラスター向けのデータガバナンス
Unity Catalog Lakeguardを発表できることを嬉しく思います。これにより、Databricksデータインテリジェンスプラットフォームのコスト効率の高いマルチユーザーコンピューティング上で完全なデータガバナンスを備えたSQL、Python、ScalaでApache Spark™ ワークロードを実行できるようになります。 従来、ガバナンスを強化するにはシングルユーザークラスターを使用する必要があり、コストと運用のオーバーヘッドを負担する必要がありました。 Lakeguardを使用すると 、ユーザーコードは他のユーザーのコードや共有コンピュート上のSparkエンジンから完全に分離された状態で実行されるため 、実行時に データガバナンス を強制する ことができます。 これにより、クラスターをチーム全体で安全に共有し、計算コストを削減し、運用の手間を最小限に抑えることができます。 Lakeguardは、 Unity Catalog の導入以来、不可欠な存在となっています。DBR 13.1ではPython
データの民主化：信頼されたデータの活用によるビジネスの変革
データの民主化は、単なるテクノロジー、技術のバズワードのように聞こえるかもしれませんが、組織が収集するデータは日々増加しており、企業がそこから価値を引き出したいのであれば、データの正確性、信頼性、アクセシビリティを優先する必要があります。 そこで、データの民主化が役立ちます。 しかし、データの民主化とは一体何なのでしょうか。また、高いレベルのガバナンスと信頼を維持しながら、それを達成するにはどうすればよいでしょうか。 データの民主化を成功させるためのステップと、それがビジネスにどのような利益をもたらし、人工知能（AI）戦略をどのようにサポートできるかをご覧ください。 データの民主化とは？ データの民主化とは、組織内のすべての人がデータに（適切に）アクセスできるようにすることであり、データを理解するために必要なツールやトレーニングを提供することです。 つまり、すべてのエンドユーザー（従業員、利害関係者、消費者）がデータを扱うことに自信を持ち、特にAIモデルに関して最終結果を信頼できるように、障壁を取り除き、教育を提
Databricks アセットバンドル の一般提供開始のお知らせ
Databricks Asset Bundles（DABs）のGA（General Availability ）を発表できることを嬉しく思います。 DABsを利用することで、ジョブ、パイプライン、ノートブックなどのリソースを簡単にまとめて、プロジェクトを一つの単位としてバージョン管理、テスト、デプロイ、共同作業ができます。DABsはDatabricksプラットフォームでのデータとAIプロジェクトにおけるソフトウェアエンジニアリングのベストプラクティスを取り入れるための強力なサポートを提供します。また、すべてのデータ資産をコードとして扱い、ソースコントロール、コードレビュー、テスト、継続的インテグレーションおよびデリバリー（CI/CD）をスムーズに行えるよう支援します。すでに数百の顧客が本番環境でDABsを使用している今、この機能をすべての顧客に提供できることを楽しみにしています。 コラボレーションと自動化の強化 ：プロジェクト向けDABsの活用 DABsは、データとAIプロジェクトを記述するシンプルで宣言的な形式
今すぐ登録すると、Data + AI Summitでのトレーニングが50％オフで受講できます！
期間限定で、Data + AI Summitでのトレーニングと認定試験を50％割引で提供します。割引コードは「TRAIN50FOTY」です。このオファーは2024年5月3日に終了しますので、 今すぐ登録して トレーニングを追加しましょう。 今年、Databricksのトレーニングと認定プログラムがサンフランシスコで開催されるData + AI Summitに戻ってきます。開催期間は6月10日から13日です。プログラムはさらに充実し、多様なトレーニングコースや、当社のラーニングハブを通じた参加型の活動が増えています。 Databricksでは、生成AI、データエンジニアリング、機械学習／データサイエンスなど、多岐にわたるテーマを扱う20のコースを通じて実践的なトレーニングを提供しています。これらのコースは、キャリアを加速させたいと考えるデータおよびAIの専門家や、組織内でより大きな成果を目指す方々に最適です。さらに、会場での認定試験を割引価格で受けられるほか、当社の学習プログラムを直接体験できるラーニングハブも設け
Databricks上のMeta Llama 3でエンタープライズ生成AIアプリを構築
私たちはMeta社と共同で、最新の大規模言語モデル Meta Llama 3 を Databricks上でリリースできることを嬉しく思います。Databricks上のLlama 3により、あらゆる規模の企業が、完全に管理されたAPIを介してこの新しいモデルを導入することができます。Meta Llama 3は、オープン言語モデルの新しいスタンダードとなり、最先端のクローズドモデルに匹敵する機能を、コミュニティと独自のLLMを開発する企業の両方に提供します。Databricksでは、オープンな言語モデルを推進するというMetaのコミットメントに共感しており、この新しいモデルを初日から企業のお客様にご利用いただけることに興奮しています。 Meta Llama 3は、今後数日のうちにリージョンごとに展開される予定で、Databricksモデルサービング上の統一的なAPIを通じてアクセスすることができます。 つまり、組織固有のデータを安全に活用しながら、ユースケースに最適なモデルを使用して、高品質で本番規模の生成AIアプリ
正確性、安全性、ガバナンス：生成AIをPOCからプロダクションに移行する方法
生成AIの企業導入に関して、 ほとんどの組織は過渡期にあります。 私たちが話をした顧客の88% は、 現在、生成AIのパイロットプロジェクトを実行して いると述べていますが、大多数は、テスト環境から本番環境に実験を移行することに神経質になりすぎているとも述べています。 では、何がこの格差を引き起こしているのでしょうか？ それがコストとリスクに関する懸念です。 以前は、IT投資を行う場合、企業は「構築すれば価値は後からやってくる」という考え方をすることができましたが、もう違います。現在は、新しいプロジェクトは、ビジネスにとって価値あるものを迅速に生み出すことが求められています。 かつては、役員や投資家はIT投資に対するリターンが得られるまで数年待っても構わなかったかもしれませんが、今ではわずか6ヶ月での進展を求めています。 企業は、生成AI開発コストのROIを懸念しているだけでなく、AIシステムが悪い結果や不正確な結果（ハルシネーションなど）を吐き出し、ビジネスに損害を与えたり、企業の機密情報が漏洩する可能性があるこ
ビジネスにおけるAIはデータインテリジェンスでどう変わるか
AIは至る所に存在します。携帯電話にも、コンピューターにも、そしてニュースの見出しにも頻繁に登場します。 しかし、すべての見出しの背後で、ビジネスにおけるAIの利用が不可欠となっており、今後もその使用が無くなる兆しはありません。 では、データインテリジェンスの未来は、企業にとってのAIにどのような影響を与えるのでしょうか？ 私たちは、AIが現在どのように活用されているのか、今後さまざまな業界でどのように活用される可能性があるのか、また、データ管理システムの内部と外部、そして独自の課題を探ることで、この問いに答え、データインテリジェンスがビジネスにおけるAIの活用にどのような革命をもたらすことができるのかを理解します。 ビジネスにおけるAI活用の現状 ワークフローの合理化からデータ分析まで、AIの活用はあらゆる規模、あらゆる業界のビジネスの主流となっています。 1. よりスマートなリスク管理 明確なリスク管理戦略を持つことは現代企業にとって必須ですが、個人が計画できることは限られています。 利用可能なデータの量が多
Mosaic AIモデルサービングでDBRX推論を高速化
イントロダクション このブログポストでは、Databricksが作成したオープンな最新大規模言語モデル（LLM）であるDBRXを使った推論を紹介します（ DBRXの紹介 を 参照 ）。DBRXがどのように効率的な推論と高度なモデル品質の両方を実現するために一から設計されたかを説明し、私たちのプラットフォームでどのように最先端 のパフォーマンスを達成したかを要約し、最後にモデルとの対話方法に関する実践的なヒントを紹介します。 Mosaic AIモデルサービング は 、 ハイパフォーマンスでプロダクショングレードのエンタープライズ対応プラットフォーム上のDBRX Instructに即座にアクセスする ことができます。 ユーザーは即座に実験やプロトタイプアプリケーションを構築し、その後スムーズに本番グレードの推論プラットフォームへ移行することができます。 今すぐDBRXをお試しください！ Databricksワークスペース内の AI Playground （米国のみ） OpenAI SDKを使って Databricks上