AIモデル共有のGAを発表
このブログへの貴重な洞察と貢献に対して、Daniel Benito（CTO、Bitext）、Antonio Valderrabanos（CEO、Bitext）、Chen Wang（リードソリューションアーキテクト、AI21 Labs）、Robbin Jang（アライアンスマネージャー、AI21 Labs）、Alex Godfrey（パートナーマーケティングリード、AI21 Labs）に特別な感謝を述べます。 Databricks Delta SharingとDatabricksマーケットプレイス内のAIモデル共有の一般提供をお知らせすることをうれしく思います。このマイルストーンは、 2024年1月のパブリックプレビュー発表 に続いています。Public Previewのローンチ以来、我々は新たなAIモデル共有の顧客やプロバイダー、例えば Bitext 、 AI21 Labs 、Rippleと共に、AIモデル共有をさらにシンプルにするために取り組んできました。 Delta Sharingを使用して、AIモデルを簡単
Databricks上のMeta Llama 3.2の紹介：高速な言語モデルと強力なマルチモーダルモデル
Metaとのパートナーシップを通じて、Llama 3シリーズの最新モデルを Databricks Data Intelligence Platform でローンチすることを楽しみにしています。このLlama 3.2リリースの小型テキストモデルは、顧客が高速なリアルタイムシステ ムを構築することを可能にし、大型のマルチモーダルモデルは、Llamaモデルが視覚理解を獲得する初めてのマークです。 両方とも、Databricksの顧客が 複合AIシステム を構築するための重要なコンポーネントを提供し、これらのモデルを企業データに接続してデータインテリジェンスを可能にします。 Llamaシリーズの他のモデルと同様に、Llama 3.2モデルは今日からDatabricks Mosaic AIで利用可能で、あなたのデータで安全かつ効率的にチューニングすることができ、簡単にMosaic AI ゲートウェイ と エージェントフレームワーク にプラグインすることができます。 今日からDatabricksでLlama 3.2を使い始めま
ゲーム業界向け『AI パワード BI』のご紹介
「よくダッシュボードの作成を依頼されるのですが、依頼内容がはっきりしていないことが多く、たとえ依頼者と会話をしても完全に理解できない場合があります。そのため、こちらで何かを作成しても、期待に合わずに最初からやり直したり、修正を重ねる必要が出てくることがあります。ここで興味深いのは、1) 依頼者自身で解答を見つけられる可能性があること、そして2) さらに重要かもしれないのは、依頼者が自分の探しているものに近いものを見つけることで、それを元に私たちのチームへの依頼内容を具体化できるという点です。」 - AAAスタジオのデータリーダー はじめに 2023年11月にDatabricksの次の進化「The Data Intelligence Platform」を発表した際、機械学習や生成AI（GenAI）などの機能をプラットフォームに統合する計画を共有しました。これにより、皆さんの生産性を向上させ、データから生み出せる価値をさらに高めることができます。本ブログでは、データインサイトの生成を民主化することを目指した機能の一つ
Amazon EC2 G6インスタンス対応をDatabricksが発表
私たちは、Databricksが現在、 Amazon EC2 G6インスタンス をNVIDIA L4 Tensor Core GPUでサポートすることを発表することを嬉しく思います。これによりDatabricksデータインテリジェンスプラットフォーム上でのより効率的でスケーラブルなデータ処理、機械学習、AIワークロードを可能にする一歩を示しています。 AWS G6 GPUインスタンスの利点は何ですか？ Amazon Web Services (AWS)のG6インスタンスは、低コストでエネルギー効率の高いNVIDIA L4 GPUを搭載しています。このGPUは、 NVIDIAの第4世代テンソルコアAda Lovelaceアーキテクチャ に基づいており、最も要求の厳しいAIや機械学習のワークロードをサポートします。 G6インスタンスは、NVIDIA T4...
「箱の中」を考える：RayとDatabricksで解くビンパッキング問題
序章 ビンパッキング問題は、業界を問わず企業組織に広範な影響を及ぼす古典的な最適化の課題です。この問題の核心は、有限の数のコンテナや「ビン」に一連のオブジェクトを最も効率的に詰め込む方法を見つけることで、目標は無駄なスペースを最小限に抑えることです。 この課題は、実世界のアプリケーションで広く見られます。例えば、出荷や物流の最適化、データセンターやクラウドコンピューティング環境でのリソースの効率的な割り当てなどです。組織はしばしば大量のアイテムやコンテナを扱うため、最適なパッキングソリューションを見つけることで、大幅なコスト削減と運用効率の向上を実現できます。 10Bドル規模の先進的な産業機器メーカーにとって、ビンパッキングは供給チェーンの重要な一部です。この会社では、購入した部品を詰めてもらうために、コンテナをベンダーに送ることが一般的です。これらの部品は、重機や車両の製造プロセスで使用されます。供給チェーンの複雑さが増し、生産目標が変動する中で、パッケージングエンジニアリングチームは、組み立てラインに適切な数
長いシーケンスでLlama 3.1をファインチューニング
私たちは、 Mosaic AIモデルトレーニング が、Meta Llama 3.1モデルファミリーの微調整時に131Kトークンの全文脈長をサポートするようになったことを発表することを嬉しく思います。この新機能により、Databricksの顧客は、長い文脈長のエンタープライズデータを使用して特化したモデルを作成することで、さらに高品質なRetrieval Augmented Generation（RAG）またはツール使用システムを構築することができます。 LLMの入力プロンプトのサイズは、その コンテキスト長 によって決定されます。お客様は特にRAGやマルチドキュメント分析のようなユースケースでは、短いコンテキスト長に制限されることが多いです。Meta Llama 3.1モデルは、コンテキスト長が131Kトークンと長いです。比較すると、『グレート・ギャツビー』は 約72Kトークン です。Llama 3.1モデルは、大量のデータコーパスを理解することを可能にし、RAGでのチャンキングや再ランキングの必要性を減らすか、
最新のDatabricks認定資格でジェネレーティブAIの専門知識を証明しよう！
ジェネレーティブAI技術は数ヶ月間話題となっており、その技術の現状や将来への即時的な影響に関してはさまざまな意見が存在します。技術が絶えず変化している中でも、Gartnerは 2026年には 80％の企業がジェネレーティブAIソリューションを本番環境で使用するようになると予測しています。さらに、Gartnerは、これらのソリューションを構築・展開するためのエンジニアリングスキルを今から身につけることを推奨しています。また、スキルギャップが将来の技術とその実用化に支障をきたす可能性があると強調しています。 そのため、Databricksはこの進化し続ける課題に対応するための認定資格、「 Databricks Generative AI Engineer Associate 認定」を設立しました。我々は業界初のジェネレーティブAIエンジニア認定に投資し、企業や個人がDatabricks上でジェネレーティブAIアプリケーションを構築・展開するための専門知識を確立できるよう支援しています。Databricksは、認定資格
Databricks Data Intelligence Platformのためのセキュリティベストプラクティス
Databricksでは、データが最も価値のある資産の一つであることを理解しています。当社の製品とセキュリティチームは協力して、セキュリティリスクに対抗し、コンプライアンスの義務を満たすことができるエンタープライズグレードの データインテリジェンスプラットフォーム を提供します。過去1年間で、 Azure Private Link for Databricks SQL Serverless によるデータアクセスの保護、 Azure firewall support for Workspace storage によるデータのプライバシー保護、 Azure confidential computing による使用中のデータ保護、 FedRAMP...
革新を解き放て：DatabricksがジェネレーティブAIスタートアップチャレンジを発表！
Databricksを基盤にした画期的なGenerative AIのユースケースを持つ起業家やスタートアップですか？それなら、私たちのチャレンジに挑戦してみませんか？Databricksは、 Databricks Generative AI Startup Challenge を紹介することを大変嬉しく思います - これは、Generative AIの力を利用して実際の顧客の問題を解決する革新的な製品を開発している 初期段階のスタートアップ向けの賞金総額が100万ドル以上のコンペティション であり、Databricks Data Intelligence Platformの力を活用しています。 Databricks Ventures と Databricks for Startups のスポンサーであり、AWSとの協力のもと、これはあなたが印象を残し、比類のない露出を得て、成功への道を加速するチャンスです。...
Databricksでパラメータを一元管理しましょう！
本日、SQLエディタで 名前付きパラメータマーカー のサポートを発表できることを嬉しく思います。この機能により、SQLエディタでパラメータ化されたコードを記述でき、そのままダッシュボードやノートブックで構文を変更せずにコピーして実行することが可能になります。これは、クエリ、ノートブック、ダッシュボード全体でパラメータを統一するための重要なマイルストーンとなります。 名前付きパラメータマーカーを使用する パラメータを使用することで、実行時にデータセットのクエリに値を代入し、日付や商品カテゴリなどの条件でデータをフィルタリングできます。これにより、SQLクエリでデータが集約される前に、より効率的なクエリと精度の高い分析が可能になります。 パラメータマーカーは、クエリ、ノートブック、ダッシュボード、ワークフロー、 SQL Execution API でサポートされています。これらは厳密に型指定されており、提供された値をSQL文から明確に分離することで、SQLインジェクション攻撃に対する耐性も強化されています。名前付きパ