Databricks Assistant Quick Fixをリリース！
新機能「 Databricks Assistant Quick Fix 」をご紹介できることを嬉しく思います！これは、構文ミスや未解決のカラム、型変換など、一般的な一行エラーを自動で修正する強力な機能です。 調査によると、エラーの70%以上が単純なミスであり、修正には長い説明や大規模なドキュメント検索が必要ありません。Assistant Quick Fixを使えば、AIの力を活用してコーディングの効率を高め、デバッグプロセスをよりスムーズにする統合ソリューションを実現しました。 Assistant Quick Fixの仕組み Assistant Quick Fixは、 Databricks Assistant を活用してエラー修正の提案を行いますが、特にSQLやPythonのコーディング中によく発生する特定のエラーを素早く修正するよう最適化されています。Quick Fixの重要な目標は「速さ」。提案は迅速に返され、手をキーボードから離さずに受け入れることができます。 どのようなエラーを修正できるのか？ Assis
Databricksのオープンソースセキュリティ強化！
Databricksの製品セキュリティチームは、その製品のセキュリティと完全性を確保することに深く取り組んでいます。これらの製品は、さまざまなオープンソースプロジェクトの上に構築され、それらと統合されています。これらのオープンソースの基盤の重要性を認識し、チームはこれらのプロジェクトのセキュリティに積極的に貢献し、その結果、Databricks製品とオープンソースエコシステム全体のセキュリティ姿勢を向上させています。このコミットメントは、脆弱性の特定と報告、パッチの提供、オープンソースプロジェクトのセキュリティレビューと監査への参加など、いくつかの主要な活動を通じて具体化されています。これにより、Databricksは自社の製品を保護するだけでなく、依存しているオープンソースプロジェクトのレジリエンスとセキュリティを支援します。 このブログでは、チームが発見したいくつかの脆弱性の技術的詳細を概説します。 CVE-2022-26612 : Hadoop FileUtil unTarUsingTarシェルコマンドイン
セマンティックキャッシュで実現！コスパ最強チャットボット構築
チャットボットは、ビジネスにとって価値あるツールとなりつつあり、 効率を向上させる ためや 従業員をサポートする ために役立ちます。LLMは、企業のデータやドキュメンテーションを大量に探し、幅広い問い合わせに対して情報を提供することで、従業員をサポートできます。経験豊富な従業員にとって、これは冗長で生産性の低いタスクに費やす時間を最小限に抑えるのに役立ちます。新入社員にとって、これは正しい答えを得るまでの時間を短縮するだけでなく、これらの従業員を オンボーディング を通じてガイドし、 知識の進行 を評価し、さらなる学習と開発のためのエリアを提案するのにも使用できます。 これらの機能は、今後も 労働者を補完する 可能性が高いと見られています。そして、多くの先進国で労働者の利用可能性に 差し迫った課題 がある中、多くの組織は、彼らが提供できるサポートを最大限に活用するために、内部プロセスを再構築しています。 LLMベースのチャットボットのスケーリングはコストがかかる チャットボットを大規模に導入する準備をしている企業
データインテリジェンスと評価インテリジェンスを統合する：Databricks VenturesがGalileoに投資
私たちの顧客は、生成型AIを試験から本番環境へ移行させる最大の課題は「 測定問題 」だと言っています。これらのシステムを測定し、信頼するのは難しいです。LLMプロバイダーは制御テストでのパフォーマンス結果を共有しますが、企業はモデルを変更し、自身のデータを追加します。これにより、現実世界での評価が難しくなります。 現在のAIの状況では、ほとんどの組織が単一の呼び出しLLMアプリケーションから AIシステム へと移行しています。これらのシステムは、複数のツール、検索戦略、推論ステップ、ビジネスルール、およびLLMを使用して、ユーザープロンプトから単一の出力を生成します。フードの下ではたくさんのことが進行中です。 Databricksでは、顧客のデータと、そのビジネスのユニークな特性に合わせて調整された強力なAIモデルを組み合わせることで、分析とインテリジェントアプリケーションへのアクセスを民主化しています。私たちは、一般的なインテリジェンスから、私たちがデータインテリジェンスと呼ぶものへのシフトをリードしています。
Databricksへの移行戦略：成功のための教訓
データウェアハウスのワークロードを移行することは、あらゆる組織にとって最も難しいながらも重要なタスクの一つです。移行の動機がビジネスの成長とスケーラビリティの要件であれ、既存のレガシーシステムの高いライセンス・ハードウェアコストの削減であれ、単にファイルを転送するだけではありません。Databricks では、プロフェッショナルサービス（PS）チームが何百もの顧客やパートナーと共に移行プロジェクトに取り組み、数多くの成功事例を積み上げてきました。このブログでは、移行の範囲設定、設計、構築、実行においてデータプロフェッショナルが考慮すべきベストプラクティスと教訓を探ります。 移行を成功させるために: 5段階のプロセス Databricksでは、私たちの経験と専門知識に基づいて、移行プロジェクトのための5段階のプロセスを開発しました。 移行プロジェクトを開始する前に、まず ディスカバリー フェーズから始めます。このフェーズでは、移行の背後にある理由と既存のレガシーシステムの課題を理解することを目指しています。私たちは
Logically AIでGPU推論をターボチャージ！
2017年に設立された Logically は、AIを使用してクライアントのインテリジェンス能力を強化する分野のリーダーです。ウェブサイト、ソーシャルプラットフォーム、その他のデジタルソースから大量のデータを処理し分析することで、Logicallyは潜在的なリスク、新たな脅威、重要なナラティブを特定し、それらをサイバーセキュリティチーム、プロダクトマネージャー、エンゲージメントリーダーが迅速かつ戦略的に行動できるように整理します。 GPU加速はLogicallyのプラットフォームの重要な要素であり、高度に規制されたエンティティの要件を満たすためのナラティブの検出を可能にします。GPUを使用することで、Logicallyは訓練と推論の時間を大幅に短縮し、ソーシャルメディアやインターネット全体での偽情報の拡散を防ぐために必要なスケールでのデータ処理を可能にしました。現在のGPUリソースの不足も、最適なレ イテンシとAIプロジェクトの全体的な成功を達成するために、その利用を最適化することが重要であることを意味します。 ロ
Databricks Assistant の新機能は何ですか？
過去数ヶ月間、私たちは皆さんのフィードバックを集め、Databricks Assistantの応答の質と全体的なユーザーエクスペリエンスの両方に焦点を当ててきました。今日、私たちはより高度なDatabricksアシスタントを紹介します。これは、プロンプトエンジニアリングを簡素化し、ワークフローを加速するために設計された強力な新機能が詰まっています。 主な強化点には以下のようなものがあります： @-mentioning テーブル : ユーザーは、アシスタントのプロンプト内のテーブルを@-mentionすることができるようになりました。これにより、アシスタントが正確なテーブルを参照し、より正確な提案を行うことができます。 インラインの改善: ユーザーはセル内の特定の行を強調し、インラインアシスタントを初期化して、選択した行やクエリセクションに対する提案を集中させることができます。 アシスタント使用 ログ ： 新しいシステムテーブル（system.access.assistant_events）が導入され、管理者やマネー
DatabricksとInformaticaによるエンタープライズAIのためのインテリジェントデータエンジニアリング
生成型AIは、組織がデータから価値を引き出す方法に対して大きな可能性を秘めています。しかし、真のインテリジェントデータ管理に根ざした正確で関連性のある結果を確保する周囲の一連の課題もあります。実際、最近の MIT Technologyの600人のCIOを対象とした調査 では、エグゼクティブの72％が、データの課題がAI成功を危険にさらす最大の要因であると述べています。その結果、私たちはAIプロジェクトが最優先事項であるが、生産でビジネス価値を実現するのに苦労している顧客と常に話をしています。 DatabricksとInformaticaは、エンタープライズAIアプリケーションのためのインテリジェントなソリューションを提供するために、データ管理の風景を再形成しています。Informaticaのローコード/ノーコードのデータ管理の専門知識を用いて、さまざまなソースシステムからのデータを発見、カタログ化、管理し、DatabricksのAI最適化のインテリジェントデータウェアハウジング機能 と組み合わせることで、組織は次の
シンプル・高速・スケーラブル！Mosaic AIで実現するバッチ LLM 推論
長年にわたり、企業は膨大な量の非構造化テキストデータ（文書、報告書、メールなど）を蓄積してきましたが、そこから意味のあるインサイトを抽出することは依然として課題でした。現在、大規模言語モデル（LLM）を活用することで、このデータをスケーラブルに分析する方法が実現しており、バッチ推論が最も効率的な解決策となっています。しかし、多くのツールはオンライン推論に焦点を当てており、バッチ処理機能の充実にはまだ課題が残されています。 本日、大規模文書に LLM を適用するための、よりシンプルで高速、かつスケーラブルな方法を発表します。これまでのようにデータを CSV ファイルとして 未管理の場所にエクスポートする必要はありません。今では、Unity Catalog による完全なガバナンスのもと、ワークフロー内でバッチ推論を直接実行できます。 以下の SQL クエリを記述し、ノートブックやワークフローで実行するだけで完了します。 ai_query を使用すれば、前例の ない速度で大規模なデータセットを処理することが可能になり、最
バジェットポリシーを使用して、サーバーレスのコストを部門やユーザーに割り当てます
サーバーレスコンピューティングの予算ポリシーのパブリックプレビューを発表することを嬉しく思います。管理者は、予算ポリシーを使用してサーバーレスリソースに自動的にタグを適用し、カスタマイズされたコストレポートとチャージバックを行うことができます。