ビートを逃さない： Databricksワークフローにおけるモニタリングとアラートの新機能を発表
翻訳：Junichi Maruyama. - Original Blog Link この度、 Databricks Workflows の監視・観測機能が強化されました。これには、すべてのプロダクションジョブの実行を一箇所で確認できる新しいリアルタイムインサイトダッシュボード、すべてのワークフローに対する高度で詳細なタスクトラッキング、問題が発生する前に問題をキャッチするための新しいアラ ート機能などが含まれます。これらの素晴らしい新機能の目標は、あらゆるスキルレベルのデータ実務者の生産性を最適化しながら、すべてのプロダクション・ワークフローを全体的に把握できるようにすることで、日々の業務を簡素化することです。 Databricks Workflows は、Databricks Lakehouse Platformと完全に統合された、データ、アナリティクス、MLのワークロードのための、使いやすく、信頼性の高い、完全に管理されたオーケストレーションソリューションです。直感的なUIを備えているため、すべてのデータ実務者
Databricks Unityカタログのボリュームのパブリックプレビューを発表
翻訳：Junichi Maruyama. - Original Blog Link Data and AI Summit 2023では、Databricks Unity Catalogの Volumes を紹介した。この機能により、Unity Catalog内の表形式データとともに、非構造化データ、半構造化データ、構造化データなど、あらゆる非表形式データの発見、管理、処理、系譜の追跡が可能になり ます。本日、AWS、Azure、GCPで利用可能な Volumes のパブリックプレビューを発表できることを嬉しく思います。 このブログでは、表形式以外のデータに関連する一般的なユースケースについて説明し、Unity CatalogのVolumesを使用した主な機能の概要を提供し、Volumesの実用的なアプリケーションを示す作業例を紹介し、Volumesを開始する方法の詳細を提供します。 非表形式データのガバナンスとアクセスに関連する一般的なユースケース Databricks Lakehouse...
Databricks Lakehouseでクレジットデータプラットフォームを構築する方法
翻訳：Junichi Maruyama. - Original Blog Link dbdemos.aiのデモ をご覧になり、ビジネスのためのクレジットデータプラットフォームを構築してください。 はじめに 世界銀行の金融包摂に関する報告 によると、なんと17億人もの成人が銀行口座を持たないとされている。銀行口座を持たない個人の多くは、伝統的な金融機関から融資を受けることが難しく、法外な金利で融資を行うインフォーマルな金融業者に頼ることになる。このグループには通常、若い世代、発展途上国の低所得者、農村部の住民が含まれ、その多く は金融サービスへのアクセスを得るために移動している。 銀行口座を持たない人々に関して言えば、モバイル・バンキングは通常、伝統的な銀行業務が弱いと思われている地域の消費者ニーズを満たすために参入してきました。世界中のスマートフォンのユーザー数は、過去5年間一貫して毎年最低5%ずつ増加しており、融資にとって新たな有望な機会をもたらしています。金融機関は、機械学習やその他の高度な分析を活用して顧客の
Databricks Unity CatalogはAmgenのエンタープライズ規模でのデータガバナンス実現にどのように貢献したか
翻訳：Motokazu Ishikawa - Original Blog Link このブログは、Amgen社の情報システム担当シニアマネージャーであるJaison Dominic氏と、ZS Associates社のアーキテクチャ・エンジニアリング担当ディレクターであるLakhan Prajapati氏によって執筆されました。 世界最大の独立系バイオテクノロジー企業である Amgen は、長い間イノベーションの代名詞でした。40年にわたり、新しい医薬品製造プロセスを開拓し、命を救う医薬品を開発し、世界中の何百万人もの人々の生活にプラスの影響を与えてきました。 データとAIは、当社の事業戦略にとって極めて重要で す。当社の企業内にデータが豊富にあることを認識し、当社のビジョンは、セルフサービスのガバナンス機能を通じてデータ分析にアクセスできるデータ主導型の組織を確立することでした。モダナイゼーションを追求する中で、当社はデジタルトランスフォーメーションの旅の基盤として Databricks Lakehouse Pla
Data + AI Summit 2023におけるデータエンジニアリングとストリーミングの最新情報
翻訳：Junichi Maruyama. - Original Blog Link 今日は木曜日で、2023年データ＋AIサミットからの発表の週を終えたばかりです。今年のサミットのテーマは「ジェネレーションAI」であり、LLM、レイクハウスアーキテクチャ、そしてデータとAIにおけるすべての最新イノベーションを探求するテーマでした。 最新のジェネレーティブAIのイノベーションを支えるのは、最新のデータエンジニアリングスタックです。 最新のジェネレーティブAIのイノベーションを支えるのは、Delta Lake、Spark、Databricks Lakehouse Platformが提供する最新のデータエンジニアリングスタックです。Databricks Lakehouseは、 Delta Live Tables や Databricks Workflows などのソリューションにより、高度なデータパイプラインの構築とオーケストレーションの課題に取り 組むデータエンジニアを支援する高度な機能を提供します。 このブログ記事で
Project Lightspeed Update - Apache Spark Structured Streamingの高度化に向けて
翻訳：Saki Kitaoka. - Original Blog Link このブログポストでは、1年前にProject Lightspeedを発表してからの Spark Structured Streaming の進歩について、パフォーマンスの向上からエコシステムの拡張、そしてそれ以降についてレビューします。具体的なイノベーションについて説明する前に、そもそも私たちが Project Lightspeed の必要性に至った背景を少しおさらいしましょう。 本記事の背景 ストリーム処理は、インスタントな洞察とリアルタイムのフィードバックを得るために、企業にとって重要なニーズです。Apache Spark Structured Streamingは、その使いやすさ、パフォーマンス、大規模なエコシステム、開発者コミュニティにより、長年にわたって最も人気のあるオープンソースのストリーミングエンジンです。オープンソースで組織全体に広く採用されており、 Delta Live Tables...
新しいUniversal Format と Liquid Clusteringを備えたDelta Lake 3.0の発表
翻訳：Saki Kitaoka. - Original Blog Link Linux Foundation オープンソース Delta Lake Project, の次のメジャーリリースである Delta Lake 3.0 を発表できることを嬉しく思います。( preview 中) このリリースに対する Delta Lake コミュニティの貴重な貢献に心から感謝いたします 。...
Apache Sparkのための新しいプログラミング言語としての「英語」
翻訳: Masahiko Kitamura オリジナル記事： Introducing English as the New Programming Language for Apache Spark はじめに 私たちは、皆様のSpark体験を豊かにするために設計された革新的なツールである、Apache Sparkの英語SDKを発表できることを嬉しく思います。Apache Spark™は、世界208の国と地域から年間10億以上のダウンロードを記録し、大規模データ分析を大きく発展させました。ジェネレーティブAIの革新的なアプリケーションであるEnglish SDKは、Sparkをこれまで以上にユーザーフレンドリーで親しみやすいものにすることで、この活気あるコミュニティの拡大を目指します！ 動機 GitHub Copilotは、AIによるコード開発の分野に革命をもたらした。強力な反面、ユーザー は生成されたコードを理解してコミットする必要がある。レビュアーもコードを理解しないとレビューできない。これは、より広範に採用され
企業での責任あるAI導入を支援
翻訳: Masahiko Kitamura オリジナル記事： Helping Enterprises Responsibly Deploy AI 人工知能（AI）の将来性は否定できないが、その大きな可能性には大きな責任も伴います。世界中の企業や組織は、AIの利用を加速させる一方で、技術が適切に使用されない場合に生じる可能性のある問題から保護しなければならないという、相反する圧力を感じていることでしょう。 企業がAIの道筋を描くとき、小規模なオープンソースモデルに頼るにせよ、ハイパースケールのプロプライエタリな大規模言語モデル（LLM）に頼るにせよ、この変革的テクノロジーを責任を持って利用する方法を考える手助けをしたいと考えています。当社のプラットフォームにより、顧客は企業全体のデータとAI開発を注意深く管理することができ、リスク管理を改善し、バイアスの事例を減らし、その他の問題点に対処することができます。 AI技術は急速に進化を続けていますが、私たちは、未来は信頼と透明性、つまり永続的な関係の礎に基礎を置く必要が
集まれ！Legendary Heroes of DATA + AI !! Vol 4
日本のDatabricks Championの皆様に、目指したその理由や、これからの思いについて伺う「集まれ！Legendary Heroes of DATA + AI !!」。前回のポストから早5ヶ月。Legendary Heroes of Data＋AI の皆さんの輪もドンドン広がっています！ 今回は、Vol 4として、 株式会社ナレッジコミュニケーション 小山 翼 様 をご紹介します。 —- 以前にご紹介したLegendary Heroes of...