セマンティックキャッシュで実現！コスパ最強チャットボット構築
チャットボットは、ビジネスにとって価値あるツールとなりつつあ り、 効率を向上させる ためや 従業員をサポートする ために役立ちます。LLMは、企業のデータやドキュメンテーションを大量に探し、幅広い問い合わせに対して情報を提供することで、従業員をサポートできます。経験豊富な従業員にとって、これは冗長で生産性の低いタスクに費やす時間を最小限に抑えるのに役立ちます。新入社員にとって、これは正しい答えを得るまでの時間を短縮するだけでなく、これらの従業員を オンボーディング を通じてガイドし、 知識の進行 を評価し、さらなる学習と開発のためのエリアを提案するのにも使用できます。 これらの機能は、今後も 労働者を補完する 可能性が高いと見られています。そして、多くの先進国で労働者の利用可能性に 差し迫った課題 がある中、多くの組織は、彼らが提供できるサポートを最大限に活用するために、内部プロセスを再構築しています。 LLMベースのチャットボットのスケーリングはコストがかかる チャットボットを大規模に導入する準備をしている企業
Databricksへの移行戦略：成功のための教訓
データウェアハウスのワークロードを移行することは、あらゆる組織にとって最も難しいながらも重要なタスクの一つです。移行の動機がビジネスの成長とスケーラビリティの要件であれ、既存のレガシーシステムの高いライセンス・ハードウェアコストの削減であれ、単にファイルを転送するだけではありません。Databricks では、プロフェッショナルサービス（PS）チームが何百もの顧客やパートナーと共に移行プロジェクトに取り組み、数多くの成功事例を積み上げてきました。このブログでは、移行の範囲設定、設計、構築、実行においてデータプロフェッショナルが考慮すべきベストプラクティスと教訓を探ります。 移行を成功させるために: 5段階のプロセス Databricksでは、私たちの経験と専門知識に基づいて、移行プロジェクトのための5段階のプロセスを開発しました。 移行プロジェクトを開始する前に、まず ディスカバリー フェーズから始めます。このフェーズでは、移行の背後にある理由と既存のレガシーシステムの課題を理解することを目 指しています。私たちは
Logically AIでGPU推論をターボチャージ！
2017年に設立された Logically は、AIを使用してクライアントのインテリジェンス能力を強化する分野のリーダーです。ウェブサイト、ソーシャルプラットフォーム、その他のデジタルソースから大量のデータを処理し分析することで、Logicallyは潜在的なリスク、新たな脅威、重要なナ ラティブを特定し、それらをサイバーセキュリティチーム、プロダクトマネージャー、エンゲージメントリーダーが迅速かつ戦略的に行動できるように整理します。 GPU加速はLogicallyのプラットフォームの重要な要素であり、高度に規制されたエンティティの要件を満たすためのナラティブの検出を可能にします。GPUを使用することで、Logicallyは訓練と推論の時間を大幅に短縮し、ソーシャルメディアやインターネット全体での偽情報の拡散を防ぐために必要なスケールでのデータ処理を可能にしました。現在のGPUリソースの不足も、最適なレイテンシとAIプロジェクトの全体的な成功を達成するために、その利用を最適化することが重要であることを意味します。 ロ
カスタムのテキストからSQL生成するアプリケーションで金融のインサイトを解き放つ！
序章 取得強化生成（RAG）は、大規模言語モデル（LLM）を使用して企業が非構造化知識ベースを活用する方法を革新し、その可能性は広範に影響を及ぼします。 インターコンチネンタルエクスチェンジ（ICE） は、世界最大の証券取引所グループであるニューヨーク証券取引所（NYSE）を含む、取引所、クリアリングハウス、データサービス、住宅ローン技術を運営するグローバルな金融組織です。 ICEは、既存のアプリケーションからのデータ移動を必要とせずに、構造化されたRAGパイプラインを持つことで、構造化データ製品の自然言語検索のシームレスなソリューションを先駆的に開発しています。このソリューションは、エンドユーザーがデータモデル、スキーマ、またはSQLクエリを理解する必要性を排除します。 ICEチームはDatabricksエンジニアと協力して、Databricks Mosaic AI製品のフルスタック（ Unity Catalog , Vector Search , Foundation Model APIs , and Mod
ノートブック、ジョブ、パイプラインのサーバーレスコンピューティングにおけるコスト削減
私たちは最近、ノートブック、ジョブ、パイプラインのための サーバーレスコンピューティングの一般提供開始 を発表しました。サーバーレスコンピューティングは、ワークロードの迅速な起動、自動的なインフラストラクチャのスケーリング、およびDatabricksランタイムのシームレスなバージョンアップグレードを提供します。私たちはサーバーレスの提供における革新を続け、あなたのワークロードのための価格/パフォーマンスを継続的に改善することに専念しています。今日は、サーバーレスの コスト体験を改善するためのいくつかの発表を行うことを楽しみにしています： ほとんどの顧客、特に短期間のワークロードを持つ顧客にとって、 コストを25%以上削減 する効率改善。 強化されたコストの可視性 は、個々のノートブック、ジョブ、パイプラインレベルでの支出を追跡し監視するのに役立ちます。 ジョブとパイプラインに対して、 パフォーマンスよりもコストを最適化するという選択を示すことができる シンプルなコントロール（将来利用可能）。 新しいサーバーレスコン
スーパーノヴァ！ブラックホール！ストリーミングデータ！
Translation Reviewed by Akihiro.Kuwano 概要 このブログ投稿は、Data + AI Summit 2024でのセッション スーパーノヴ ァからLLMsへ のフォローアップで、ここでは誰でもApache Kafkaから公開されているNASAの衛星データを消費し、処理する方法を示しました。 多くのKafkaのデモとは異なり、再現性が低いか、シミュレートされたデータに依存しているのではなく、私はNASAの公開されている ガンマ線座標ネットワーク （GCN）からのライブデータストリームの分析方法を示します。これは、さまざまな衛星から来るスーパーノヴァとブラックホールのデータを統合しています。 オープンソースの Apache Spark™ と Apache Kafka だけを使ってソリューションを作ることも可能ですが、このタスクには...
Databricksデータインテリジェンスプラットフォームで実現する責任あるAI
人工知能（AI）の変革的な可能性は明白です。生産性の向上、コスト削減、そしてあらゆる業界での意思決定の改善に至るまで、AIはバリューチェーンを革新しています。特に2022年後半からの生成AIの登場、特にChatGPTのリリース以来、この技術に対する市場の関心と熱意はさらに高まっています。 McKinsey and Co. によると、生成AIの経済的潜在能力、つまりAIによって可能になるユースケースや労働者の生産性は、世界経済に17兆ドルから26兆ドルの価値をもたらす可能性があるとされています。 この結果として、ますます多くの企業が、競争優位性を築くためにAIをビジネス戦略の中心に据えようとしています。 ゴールドマン・サックス 経済研究所は、2025年までにAIへの投資が米国で1,000億ドル、世界全体で2,000億ドルに達する可能性があると予測しています。 しかし 、企業がAIを導入する際には、AIの目標に対する信頼を確立するために、品質、セキュリティ、およびガバナンスをカバーする責任あるAIの実践を優先することが
Databricks における Databricks：Unity Catalog でガバナンスへの旅を始める
Databricks のデータ プラットフォーム チームとして、私たちは独自のプラットフォームを活用して、直感的で構成可能な包括的なデータおよび AI プラットフォームを社内のデータ担当者に提供し、彼らが 安全に使用状況を分析し、製品とビジネス オペレーションを改善できるようにしています。 当社は成長するにつれて、安全でコンプライアンスに準拠した費用対効果の高いデータ運用を可能にするデータガバナンスを確立することに特に意欲を持っています。 何千人もの従業員と何百ものチームがデータを分析しているため、大規模なデータガバナンスと継続的なコンプライアンスを達成するには、一貫した基準を構築して実装する必要があります。 当社では、2022 年 8 月に一般公開された Unity Catalog (UC) を標準的なガバナンスプラクティスを確立するための基盤として特定し、社内レイクハウスの 100% を Unity Catalog に移行することが会社の最優先事項となりました。 データガバナンスを実現するために...
Databricksレイクハウスモニタリングで高品質な予測を確保する
予測モデルは、多くの企業が将来のトレンドを予測するために重要ですが、その精度は入力データの品質に大きく依存します。 データの品質が低いと、予測が不正確になり、最適な意思決定ができなくなる可能性があります。 ここで、 Databricksレイクハウスモニタリングが登場します。これは、予測モデルに流入するデータの品質とモデルのパフォーマンス自体の両方を監視するための統合ソリューションを提供します。 モニタリングは、予測モデルにとって特に重要です。 予測は時系列データを扱うため、データの時間的コンポーネントとシーケンシャルな性質により、複雑さが増します。 入力データの統計的プロパティが時間の経過とともに変化するデータ ドリフトなどの問題は、迅速に検出および対処しないと、予測精度を大幅に低下させる可能性があります。 さらに、予測モデルのパフォーマンスは、予測値と実際の値を比較する平均絶対パーセント誤差 (MAPE) などのメトリクスによって測定されることがよくあります。 ただし、グラウンド トゥルース値はすぐには利用でき
Unity Catalog ガバナンスの実際の動作：モニタリング、レポーティング、リネージ
Databricks Unity Catalog（UC）は、クラウドやデータプラットフォームにわたる企業のすべてのデータとAI資産に対して、単一の統合ガバナンスソリューションを提供します。 このブログでは、 Unity Catalog Governance Value Levers（ガバナンス・バリュー・レバー ）をより深く掘り下げ、包括的なデータとAIのモニタリング、レポーティング、リネージを通じて、具体的にどのようにポジティブなビジネス成果を実現しているかを紹介します。 従来の非統合ガバナンスに伴う全体的な課題 Unity Catalog Governance Value Levers ブログでは、情報セキュリティ、アクセス制御、利用監視、ガードレールの制定、データ資産からの「唯一の信頼できる情報源」の洞察の取得など、ガバナンスの組織的重要性の「理由」について議論しました。 Databricks UCがなければ、従来のガバナンスソリューションではもはやニーズに対応できません。 議論された主な課題には、複数のベ