Databricks でコストの最適化と信頼性のバランスを賢く実現
Databricks データ インテリジェンス プラットフォームは比類のない柔軟性を提供し、ユーザーはほぼ瞬時に水平方向にスケーラブルなコンピュート リソースにアクセスできます。 この作成の容易さは、適切に管理されない場合、制御不能なクラウド コストにつながる可能性があります。 オブザーバビリティを実装してコストを追跡し、チャージバック Databricks でコストを追跡およびチャージバックするために可観測性を効果的に使用する方法 複雑な技術エコシステムを扱う場合、未知の要素を積極的に理解することが、プラットフォームの安定性を維持し、コストを管理するための鍵となります。 オブザーバビリティ（可観測性）は、システムが生成するデータに基づいてシステムを分析および最適化する方法を提供します。 これは、既知の問題を追跡するのではなく、新しいパターンを特定することに重点を置くモニタリングとは異なります。 Databricks のコスト追跡の主な機能 タグ：タグを使用して、リソースと料金を分類します。 これにより、よりきめ
Databricks が AWS GovCloud 上で FedRAMP High agency ATO を取得、現在パブリックプレビュー中
私たちは、Databricks on AWS GovCloudが現在 パブリックプレビュー 中であること、そして最近、最初の FedRAMP® High Agency ATO を獲得したことを発表できることを嬉しく思います！ 国際武器取引規制（ITAR）およびHIPAAのユースケースをサポートする準備が整いました。間もなく国防総省影響レベル 5 (IL5) の暫定認可が得られる予定です。 本日の発表は、Databricks にとってエキサイティングな コンプライアンスマイルストーン の最新版です。 これは、FedRAMP Highのスポンサー機関とプレビューのお客様の功績を称えるものであり、 米国市民権移民サービス 、メディケアおよびメディケイドサービスセンター、米国食品医薬品局のような公共部門のお客様が、市民サービスの向上とミッションの成功を達成するた めのデータインテリジェンスの約束を実現するための支援に重点を置いていることを反映しています。...
クラウド分析のパワーを解き放つ：Intelのデータ革命を垣間見る
世界有数のハイテク企業が、データ分析をどのように変革し、時代の最先端を走り続けているのかを知る準備はできていますか？ Intel ITの最新ホワイトペーパーでは、Intel最大の事業部門である企業データ分析のクラウドへの移行を成功させた内部事情を明らかにしています。 Intelがファウンドリサービスとソフトウェア開発の領域にさらに踏み込んでいる今、堅牢で高性能なデータプラットフォームに対する需要はかつてないほど高まっています。 このデータ主導型の変革のベースは、さまざまな事業活動から収集されたインテリジェントな知見にあり、Intelは迅速かつ十分な情報に基づいた意思決定を行うことができます。 この変革の中核となるのが、Databricks上に構築されたクラウドベースのデータ分析プラットフォームです。 この革命的なプラットフォームは、単なるデータストレージではなく、以下を含むダイナミックなエコシステムです： 統合データ分析のためのサンドボックス機能 何度でも使えるデータ取り込みと変換のテンプレート AIと機械学習の
生成AIを用いてブランドイメージに沿った画像を作成する
画像生成技術は、小売業や消費財メーカーに大きなメリットをもたらします。 生成モデルを使用することで、ユーザーのプロンプトから様式的な画像とフォトリアリスティックな画像の両方を生成することができ、マーケティング担当者やデザイナー、製品開発チームは、新しいアイデアやデザインを迅速かつ効果的に検討することができます。 このAI技術を使用するための主な要件は、ユーザーがコンセプトを明確に表現する能力です。 共通の目標に集中する個人からなる小さなチームは、AIにプロンプトを渡すことで、アイデアを評価したり、新しいアイデアを閃いたりするのに役立つビジュアライゼーションを生成できます。 このような技術によって促進されるプロセスでは、チームは先行投資コストを削減し、フィードバックまでの時間を短縮し、最終的には、新しい、革新的で差別化されたコンテンツやデザインコンセプトにつながる、より創造的なプロセスに従事することができます。 しかし、大量の一般的な画像で事前に訓練されたモデルを使用することは、あるまとまった画像を作成するのに適し
エネルギー業界向けデータインテリジェンスプラットフォームのご紹介
よりスマートでクリーン& 信頼性の高いエネルギーシステムへのパラダイムシフトを促進 電気は新しい石油です。 エネルギー源は多様化し、エネルギーの用途はより電気的になっています。 電力は急速に一次エネルギー源になりつつあり、再生可能エネルギーは世界の電力の30％を供給しています。 顧客の嗜好と市場原理が再生可能エネルギーと脱炭素化を推し進める中、私たちは新旧のエネルギーシステムが共存する過渡期にあり、経済的影響を伴う価格変動を引き起こしています。 マッキンゼーによると、データとAIはこの移行期に不可欠であり、今後10年間で最大5兆ドルの価値を提供し、2050年までに実質ゼロ排出を達成するために 不可欠です。 今後数年間、大手エネルギー企業はデータとAIを活用し、変動リスクを管理しながら移行を活用することになるでしょう。 しかし、エネルギー部門がAIの可能性を最大限に活用するには、以下のような大きなハードルを乗り越えなければなりません： レガシーなインフラやデータモデルによる独自のデータフォーマットやクローズド
未来を照らす：コンピュータービジョンを使用した電力網資産の分析におけるDatabricksの能力を明らかにする
電力・公益事業業界におけるイノベーションは、国家電力網の進化を前進させるために必要不可欠なステップであり、このイノベーションを促進するためには新たな事業モデルが必要です。 エネルギーシステムのあらゆる部分が、一次元の電力の流れから、スマートメーターや動的価格設定モデルのような業界の他の変化とともに、新しい風力発電や太陽光発電、EVやバッテリーの利用をサポートする動的な2日送電網へと移行しています。 送電網のオペレーション、運用、管理におけるこの変化の一環として、電力会社や公益事業者は、送電網の資産を管理し、データを収集し、何世代にもわたってほとんど同じ方法で運用されてきた業界を自動化する新しい方法を模索しています。 テクノロジーの進歩によって推進される時代において、業界全体が最先端ツールの可能性を活用し、業務に革命をもたらしています。 現代社会の中枢を担う電力・公益部門も例外ではありません。 コンピュータービジョン技術の出現により、重要なインフラストラクチャを効率的に管理・監視するための新たなフロンティアが出現し
AIを活用した金融サービスにおけるデータガバナンスのシンプル化
データが急速に増加し、金融機関がAIや生成AIモデルにデータを活用することへの圧力が高まる中、データガバナンスの重要性はますます高まっています。 欧州連合（EU）議会が包括的なAI規制を可決し、米国連邦政府がAI利用を規制する措置を講じるなど、規制当局がAIの応用に関心を寄せています。 これは、AI規制の重要性の高まりを浮き彫りにしています。（詳しくは、Databricksのブログ「 展開中のAI規制への対応をデータインテリジェンスプラットフォームが支援 」にまとめられています） データガバナンスは基礎であり、生成AIの使用に先立つものです。 データガバナンスがなければ、金融機関は規制上の要求を満たすことも、AIの結果を説明することも、アルゴリズムやデータ中心のバイアスを制御することもできません。 AIモデルがより複雑になるにつれ、それらをどのように管理し、社内外のデータ資産とどのように 相互作用させるかを検討することが極めて重要になります。 データガバナンスは生成AIよりも前に考えるべき重要な基盤 データとテクノ
NHLチーム向けマネージドSportlogiqからDatabricksへのデータ取り込みパイプライン：ゲームを変えるアライアンス
概要 競争の激しいプロホッケーの世界では、NHLチームは常にパフォーマンスの最適化を追求し ています。 高度なアナリティクスは、この追求においてますます重要になっています。 サードパーティのデータベンダーは、大量の生データやビデオ映像を処理するために、コンピュータビジョンや機械学習などの最先端技術を採用しています。 その目的は、各試合から詳細な洞察を引き出すことです。 こうした細部を総合的に分析することが、勝敗を分けることも少なくありません。 この分野で注目すべきベンダーのひとつが、モントリオールに本社を置くSportlogiq社です。 特許を取得したコンピュータービジョンと機械学習技術を活用し、通常は人間の観察範囲を超えるようなデータを取得・分析します。 Sportlogiqは、スポーツチームやリーグ、メディア、パフォーマンス向上企業など、NHLのさまざまな事業体に包括的な分析サービスとトラッキングデータを提供しています。 しかし、NHLチームがSQL分析を実施し、プレッシャー下での選手の意思決定能力など、特殊な
次世代の消費者体験を提供：DatabricksとAdobeが戦略的パートナーシップを発表
Steve Sobel - グローバルインダストリーリーダー、コミュニケーション、メディア & エンターテインメントによる記事 本日、DatabricksとAdobeは戦略的パートナーシップを発表し、両社の顧客がデータの価値をより良く引き出し、よりスマートな消費者体験をスケールアップして提供できるよう支援することを発表します。 お客様は、DatabricksデータインテリジェンスプラットフォームとAdobe Experience Platformおよびそのアプリケーションの間でデータをシームレスにマージし、DatabricksとAdobeの間に独自のモデルを持ち込むことができます。 DatabricksのデータインテリジェンスプラットフォームとAdobeの革新的なデジタルエクスペリエンスソリューションの融合は、あらゆる規模、あらゆる業種の企業にとって、大きな可能性を解き放つことを約束します。 この技術的な話の基礎となるのは、 レイクハウスのパラダイム を構築することです。 Adobe Experience
2023年のPySpark：1年を振り返って
2023年にリリースされたApache Spark 3.4と3.5で、私たちはPySparkのパフォーマンス、柔軟性、使いやすさの改善に重点を置きました。 このブログ記事では、主な改善点をご紹介します。 2023年にApache Spark 3.4と3.5で追加された最も重要な機能の概要です： Spark Connect は、任意のアプリケーションからSparkクラスタへのリモート接続を可能にする、クライアントとサーバーを分離したアーキテクチャを導入しています。 これにより、サービスとしてのSparkは、安定性、アップグレード可能性、可観測性を高めながら実現されます。 Arrowに最適化されたPythonユーザー定義関数（UDF ）では、Arrowのカラムナーフォーマットを活用することで、通常のPython UDFの2倍のパフォーマンスを実現し、飛躍的な効率の向上を示しました。 Pythonのユーザー定義テーブル関数（UDTF） により、ユーザーはPySparkでネイティブにテーブルベースの変換を実行できるように