ファインチューニングされたラマモデルに対するバッチ推論とMosaic AIモデル提供
序章 本番環境向け、スケーラブルでフォールトトレラントな生成型AIソリューションを構築するには、信頼性の高いLLMの利用可能性が必要です。あなたのLLMエンドポイントは、専用の計算をあなたのワークロードのために持つことで需要を満たす準備ができている必要があります。必要に応じて容量をスケーリングし、一貫したレイテンシを持ち、すべてのインタラクションをログに記録する能力、そして予測可能な価格設定を持つことが求められます。このニーズを満たすために、Databricksは プロビジョニングされたスループットエンドポイント を、各種の高性能基盤モデル（全ての主要なラマモデル、DBRX、ミストラルなど）で提供しています。しかし、最新で最も性能の高い微調整されたLlama 3.1と3.2のバリアントを提供することはどうでしょうか？NVIDIAの Nemotron 70Bモデル は、Llama 3.1の微調整されたバリアントで、多様なベンチマークで競争力のあるパフォーマンスを示しています。Databricksの最近の革新により、
新登場！Python Data Source APIでデータ取り込みが驚くほど簡単に！
データエンジニアリングチームは、多様なカスタムデータや業界固有のデータソースに対応するため、専用の取り込みソリューションを構築するタスクを頻繁に求められます。しかし、この取り込みソリューションの構築作業は煩雑で時間がかかることが多いのが現状です。こうした課題を解決するために、さまざまな業界の企業にインタビューを実施し、多岐にわたるデータ統合ニーズを深く理解しました。この包括的なフィードバックを基に開発されたのが、Apache Spark™向けの Python Data Source API です。 Shellとの取り組み 私たちが密接に協力してきた企業の一つがShellです。エネルギー業界では、設備の故障が安全性、環境、運用の安定性に重大な影響を及ぼす可能性があり、Shellではこれらのリスクを最小化することが重要課題となっています。そのため、設備の信頼性の高い運用に注力しています。 Shellは1,800億ドル以上の価値を持つ多種多様な資本設備と機器を所有しており、その運用から生成される膨大なデータを管理するた
Aimpoint Digital: AIで旅のプラン作りがもっとスマートに！
インスピレーション 休暇を楽しむことは楽しい経験ですが、旅行の計画を立てるのはほとんどの人にとって時間と労力がかかります。訪れる場所は無数にあり、食事をするレストランは数え切れないほどあり、レビューを見て決定を下すことは終わりがありません。 Expediaによる最近の調査結果によれば 、旅行者は旅行の調査と計画に5時間以上を費やしています。人々は旅行のアクティビティを最終決定する前に最大で約270のウェブページを訪れ、このプロセスは旅行の45日前から始まることもあります。選択肢が多すぎるため、旅行の計画は一部の人々にとって圧倒的なものになることがあります。GenAIを活用してこのプロセスを効率化し、30秒以内に行程を作成することは可能でしょうか？旅行者が自分の行程に活動をカスタマイズして調整するパーソナルエージェントを持つことができたらどうでしょうか？このブログでは、旅行の行程を作成するためにDatabricks Data Intelligence Platformと共に開発したAIエージェントシステムの詳細につ
SnowflakeでUnityカタログテーブルを読み取るには！？たった4ステップ！
Unity CatalogのIceberg REST APIにSnowflakeから接続し、単一のソースデータファイルをIcebergとして読み込む方法を学びましょう。
AIエージェント評価が進化！新たな合成データ機能で効率アップ
私たちのお客様は、汎用モデルを用いた大規模プロンプトから、ROIを向上させるために必要な品質を達成する専門的なエージェントシステムへと移行し続けています。今年初め、私たちは Mosaic AI Agent Framework と Agent Evaluation をリリースしました。これらは現在、多くの企業で、企業データを活用した複雑な推論や、サポートチケットの作成、メール対応などのタスクを実行するエージェントシステムの構築に利用されています。 本日、Agent Evaluationにおける大幅な強化として、合成データ生成APIを発表します。合成データ生成とは、実世界のデータを模倣した人工的なデータセットを作成することを指しますが、これは「架空の情報」を作ることではありません。私たちのAPIは、顧客独自のデータを活用し、それに基づいて評価セットを生成します。この評価セットは、顧客のユースケースに特化したものであり、ソフトウェアエンジニアリングにおけるテストスイートや、従来の機械学習における検証データのような役割を
時系列データの予測力を解き放て！
時系列予測は、将来のトレンド、需要、ユーザー行動を予測することで、データに基づく意思決定を目指す企業にとって極めて重要です。たとえば、小売業界のDatabricks顧客は、これらのモデルを活用して、季節や地域ごとの製品需要を予測し、在庫管理を最適化しています。同様に、エネルギー企業は消費パターンを予測して供給と需要のバランスを効率的に保ち、コ スト削減や電力網の安定性を確保しています。 Databricksの顧客は、クラスタの管理やデータおよびモデルガバナンスの複雑さに煩わされることなく、Data Intelligence Platformを活用して洞察を提供することに集中したいと考えています。また、最高品質の予測を実現するために、最先端のモデルアーキテクチャへのアクセスを求めています。 これらの課題に対応するため、Mosaic AIモデルトレーニングに新機能として 時系列予測 を導入することを発表できることを嬉しく思います。この新しいAutoML製品は、柔軟性、ガバナンス、パフォーマンスを強化し、企業が時系列デー
製造業を変革する人工知能の力！ 🤖✨
近年、人工知能は、目指すべき技術から製造業の革新と効率化の推進力へと変貌を遂げました。製造業におけるAIの現状と将来の可能性を理解することは、戦略的な意思決定にとって不可欠になっています。最近の研究によれば、製造業は年間で1,800ペタバイト以上のデータを生成しており、これは他のどの業界よりも多いです。これによりAIの実装には機会と課題が生じています。 今日の製造業でのAIの使用方法 AIの製造業への利用は急速に加速しており、業界のエグゼクティブの41％が、来年に向けてデータとAIの支出を25％以上増やす予定であると、2023年7月から9月にかけて大企業や公共部門の組織のCレベルのエグ ゼクティブにインタビューした結果、DatabricksがスポンサーとなったMIT Technology Review Insightsのレポートに掲載されています。この投資は、いくつかの主要な領域で製造業の運営を再形成しています： 予測保守と品質管理： AIを活用したシステムは、リアルタイムのセンサーデータを分析し、設備の故障を発生
AI活用のセルフサービス分析を学ぼう！ SQL AnalyticsとBI向け新トレーニングコース登場🎓
Databricksは、SQLとAIによる分析スキルを強化するための2つの新しい自己学習型トレーニングを開始します "SQLアナリティクスとBIの基礎"コースでは、Databricks SQLを使用したデータ分析とDatabricks AI/BIダッシュボードとジニースペースの使用方法について学びます 開発中の追加コースには、"Databricks AI/BI for self-service analytics"と、AI/BIダッシュボードとジニースペースの構築についてデータアナリスト向けの深いダイブが含まれます
EVPassport: Databricksとともに未来への充電完了！
2020年に設立されたEVPassportは、電気自動車の充電体験を変革することを目指しています。マルチファミリーレジデンス、ホスピタリティ、小売、職場、商業駐車環境に特化したEVPassportは、包括的なInfrastructure-as-a-Serviceモデルを提供します。このオールインクルーシブなアプローチにより、クライアントはEV充電ステーションの展開と管理に必要なすべてを受け取ることができます：ハードウェア、ソフトウェア、インストール、メンテナンス、サポート。 データ依存によるEV充電器エコシステムの進化 私たちEVPassportの業界の性質を考えると、私たちは充電器の利用に非常に集中しています。業界で最も過大評価されている指標の一つは、充電器がどれだけ使用されているかということです。しかし、これは私たちのビジネスにとっても重要な要素であり、それが私たちがエネルギーに基づいた利用を基本にしている理由です。例えば、11キロワットのユニットが1時間に11キロワット時を24時間365日提供することが何を