翻訳: Masahiko Kitamura オリジナル記事: Building ETL pipelines for the cybersecurity lakehouse with Delta Live Tables Databricksはこのほど、データエンジニア、データサイエンティスト、アナリストが、複雑なインフラを管理することなく、あらゆるクラウド上で信頼性の高いデータ、分析、MLワークフローを構築できるようにする Workflows を発表しました。Workflowsでは、 Delta Live Tables を使用して、インジェストやリネージを含む自動管理されたETLパイプラインを構築することができます。ワークフローとDelta Live...

翻訳: Masahiko Kitamura オリジナル記事: Building a Cybersecurity Lakehouse for CrowdStrike Falcon Events 今すぐDatabricksを導入して、 こちらのノートブック を実行してみてください。 エンドポイントデータは、セキュリティチームが脅威の検出、脅威の狩猟、インシデント調査、およびコンプライアンス要件を満たすために必要です。データ量は、1日あたりテラバイト、1年あたりペタバイトになることもあります。ほとんどの組織がエンドポイントログの収集、保存、分析に苦労しているのは、このような大容量のデータに関連するコストと複雑さのためです。しかし、こうである必要はありません。 この2部構成のブログシリーズでは、Databricksを使用してペタバイトのエンドポイントデータを運用し、高度な分析によってセキュリティ体制を向上させる方法を、コスト効率の良い方法でご紹介します。第1部（このブログ）では、データ収集のアーキテクチャとSIEM（Sp

翻訳: Masahiko Kitamura 具体的なコードはIOCマッチングのソリューションアクセラレータの GitHub reo を参照ください。また、本ソリューションのPOC・トライアルについては [email protected] までご連絡ください。 金融機関、医療機関、政府機関がデータをクラウドに移行し、IoTセンサーや相互接続されたデバイスが増加しているため、サイバーセキュリティは依然として重要なデータ課題となっています。地政学的な脅威が続く中、企業は、大量のデータの処理、複雑なデータ処理タスク（人工知能や機械学習などの高度な分析機能を含む）のサポート、費用対効果の高い拡張が可能なDatabricks Lakehouseプラットフォームをサイバー業務に採用しています。Databricks Lakehouseプラットフォームは、データ、アナリティクス、AIを単一のプラットフォームで統合した、サイバーセキュリティ業界の隠れた標準基盤になっています。 企業やサイバーセキュリティベンダー

Original: Seamlessly Migrate Your Apache Parquet Data Lake to Delta Lake 翻訳: junichi.maruyama Apache Parquet は、今日のビッグデータの世界で最も人気のあるオープンソースのファイルフォーマットの1つです。列指向であるApache Parquetは、データの保存と検索を効率的に行うことができるため、過去10年間に多くの企業がデータレイクにおけるデータ保存の必須方法として採用しました。中には、Apache Parquetファイルを「データベーステーブル」として利用し、CRUD操作を行う企業もあります。しかし、Apache Parquetファイルは単なるデータファイルであり、トランザクションロギング、統計収集、インデックス作成機能を持たないため、ACIDに準拠したデータベース操作には適していません。このようなツールの構築は、膨大な数の開発チームが独自に開発し、それを維持する必要があるため、途方もない作業です。その結

Original: Announcing MLflow 2.4: LLMOps Tools for Robust Model Evaluation 翻訳: junichi.maruyama LLMは、あらゆる規模の企業にとって、強力なアプリケーションを迅速に構築し、ビジネス価値を提供する大きな機会を提供します。これまでデータサイエンティストは、非常に限られたタスクを実行するために何千時間もかけてモデルのトレーニングや再トレーニングを行っていましたが、今ではSaaSやオープンソースの幅広いモデル基盤を活用して、より汎用的でインテリジェントなアプリケーションを短時間で提供できるようになりました。データサイエンティストは、プロンプトエンジニアリングのような数ショットやゼロショットの学習技術を使うことで、多様なデータセットに対する高精度の分類器、最先端の感情分析モデル、低レイテンシーの文書要約器などを迅速に構築することができます。 しかし、生産に最適なモデルを特定し、安全に配備するためには、組織は適切なツールとプロセスを

Original: Large Language Models in Media & Entertainment 翻訳: junichi.maruyama メディア＆エンターテインメント業界は、データを中心とした革命の真っ只中にあり、消費者をあらゆる体験の中心に据えています。あらゆる規模の組織が、パーソナライズされた1:1体験を大規模に提供する次の破壊的イノベーションを実現するために、今、探求を続けています。特に、あるテクノロジーは、このゲームを根本的に変える力を持っています： ラージ・ランゲージ・モデル（LLM）です。LLMは、ユニークなコンテンツを生成するだけでなく、複雑な情報を深く理解し、人間のような対話をシミュレートする力を備えています。このブログでは、パーソナライゼーション、マネタイズ、コンテンツ制作という3つの主要分野におけるLLMの変革の可能性について説明します。これにより、メディアやエンターテインメント業界のデータおよびAIリーダーは、現実の世界にインパクトを与え、新しい収益源を開拓するこ

Original: Now Available: New Generative AI Learning Offerings 翻訳: junichi.maruyama Databricks Academyで提供するGenerative AI学習の新ポートフォリオを発表 大規模言語モデルへの 登録 ： Databricks AcademyのApplication through Productionを今すぐ受講してください！ ChatGPTやDollyなどのGenerative AIは、企業の将来の成功に欠かせない存在になっています。この市場で競争力を維持するためには、Generative AIを活用するためのスタッフのスキルアップとトレーニングが必要です。...

Original: Hybrid Cloud Solutions with Databricks and Dell ECS storage 翻訳: junichi.maruyama 先週行われたDell Technologies World 2023のオープニングキーノートから、デルとDatabricksの 戦略的パートナーシップの発表 がありましたのでご紹介します。私たちの共同のお客様は、パブリッククラウド、オンプレミス、プライベートクラウドを問わず、 Databricks Lakehouse Platform から Dell's...

Original: Unleashing the Power of the Databricks Marketplace for Media and Entertainment - featuring LiveRamp 翻訳: junichi.maruyama 今日のデータ主導の状況において、企業はデータを統合し、オーディエンスのプロフィールを豊かにする有意義なインサイトを導き出すという課題に直面しています。従来のデータ統合手法では、複雑さや非効率さを招き、うまくいかないことも少なくありません。しかし、新しい Databricks Marketplace で利用できる主要なデータ連携プラットフォームであるLiveRampと、Databricks Lakehouseの変革的な機能により、組織はデータ集約を簡素化し、データセット間のオーディエンスを容易に結びつけることができます。 データアグリゲーションへの挑戦...