Databricks Workspaceの新しいFilesエクスペリエンスを発表
Original Blog : Launching a New Files Experience for the Databricks Workspace 翻訳： junichi.maruyama 本日、Databricksのワークスペースにおけるファイルの一般的な利用可能性を発表することを嬉しく思います。ファイルのサポートにより、DatabricksユーザーはPythonソースコード、リファレンスデータセット、その他あらゆるタイプのファイルコンテンツをノートブックと一緒に直接保存できるようになります。また、Databricksは、インラインコード実行をサポートする新しいリッチファイルエディタを一般的に利用できるようにします。この新しいエディタは、ファイルエディタにノートブックの多くの機能（入力時のオートコンプリート、オブジェクトインスペクション、コードフォールディングなど）をもたらし、より強力な編集体験を提供します。 ワークスペースでのファイルサポート は、Databricks Reposでお馴染みの機能を拡張
SAPと共にオープンデータエコシステムを開発する
Original Blog : Developing an Open Data Ecosystem with SAP 翻訳： junichi.maruyama 製造業、エネルギー、ライフサイエンス、小売業など、さまざまな業界で、企業がビジネスの耐久性、回復力、持続可能性を重視し、重要な意思決定にデータを活用するようになってきています。これらの業界の企業における重要なデータの大半は、SAPアプリケーションからもたらされています。 SAP Datasphere は、財務、サプライチェーン、CRM、人事など、ERPやその他の機能アプリケーション群にまたがるSAPデータへのシームレスかつスケーラブルなアクセスを可能にする包括的なデータサービスで、DatabricksはSAPの4つのローンチパートナーに加わったことを発表できることを嬉しく思っています。SAP Datasphereは、 ビジネスデータファブリックアーキテクチャ を実現し、ビジネスコンテキストやデータモデルビューをそのままにSAPデータを提供し、SAPデータの
Spark NLPでDatabricks Lakehouse Platform上のVision Transformers（ViT）をスケールさせる
Scale Vision Transformers (ViT) on the Databricks Lakehouse Platform with Spark NLP 翻訳： junichi.maruyama イントロダクション 2017年のことですが、Google AIの研究者グループが、すべての自然言語処理（NLP）の基準を変えるトランスフォーマーモデルのアーキテクチャを紹介する論文を発表しました。これらの新しいTransformerベースのモデルは、NLPタスクに革命を起こしているように見えますが、コンピュータビジョン（CV）での使用はかなり制限されたままでした。これらの新しいTransformerベースのモデルは、NLPタスクに革命をもたらすように見えるが、コンピュータビジョン（CV）での使用はかなり制限されたままであった。コンピュータビジョンの分野は、畳み込みニューラルネットワーク（CNN）の使用によって支配されてきました。CNNをベースとした一般的なアーキテクチャ（ResNetなど）があります。Goo
AI Functions のご紹介： 大規模な言語モデルをDatabricks SQLで統合する
Introducing AI Functions: Integrating Large Language Models with Databricks SQL 翻訳： junichi.maruyama 大規模言語モデルの分野で素晴らしい進歩が見られる中、お客様から、SQLアナリストが日々のワークフローでこの強力なテクノロジーを活用できるように するにはどうしたらよいかという問い合わせがありました。 本日、私たちはAI Functions のパブリックプレビューを発表できることを嬉しく思います。AI Functionsは、DBに組み込まれたSQL関数で、SQLから直接Large Language Models（LLM）にアクセスできるようになります。 今回の発表により、使い慣れたSQLのインターフェイスから、自社のデータに対してLLMの実験を素早く行うことができるようになりました。正しいLLMプロンプトを開発したら、Delta Live Tablesやスケジュールされたジョブなど、既存のDatabricksツールを使
Databricks Connect “v2” でどこからでも Databricks を使用しよう
Original Blog : Use Databricks from anywhere with Databricks Connect “v2” 翻訳： junichi.maruyama この度、Databricks Connect "v2 "のパブリックプレビューを発表することができ、開発者はどこでも動作するアプリケーションからDatabricksのパワーを利用できるようになりました。 これまで、SQL以外の言語からDatabricksにリモートで接続する方法はありませんでした。 Databricks Connect library をアプリケーションに組み込み、Databricks Lakehouseに接続するだけです！...
MLflow 2.3の紹介：LLMのネイティブサポートと新機能による強化
Introducing MLflow 2.3: Enhanced with Native LLM Support and New Features 翻訳： junichi.maruyama MLflow は月間 1,300 万ダウンロードを超え、エンドツーエンドの MLOps の主要なプラットフォームとしての地位を確立しており、あらゆる規模のチームがバッチおよびリアルタイム推論用のモデルを追跡、共有、パッケージ化、およびデプロイできるようにしました。MLflowは、何千もの組織で日々採用され、多様なプロダクション機械学習アプリケーションを推進しており、産業界と学界から500人以上の貢献者からなる活発なコミュニティによって活発に開発されています。 今日、私たちはこのオープンソースの機械学習プラットフォームの最新版であるMLflow 2.3を発表することができ、大規模言語モデル（LLM）の管理・導入能力を向上させる革新的な機能が満載されていることに興奮しています。この強化されたLLMサポートは、以下のような形で提供さ
Delta Live Tablesで10億レコードのETLを1ドル未満で実行した方法
Original: How We Performed ETL on One Billion Records For Under $1 With Delta Live Tables 翻訳: junichi.maruyama 今日、DatabricksはETL（Extract、Transform、Load）の価格とパフォーマンスの新しい標準を打ち立てました。お客様は10年以上前からDatabricksをETLパイプラインに使用していますが、従来のETL技術を使用してEDW（Enterprise Data Warehouse）のディメンションモデルにデータを取り込む場合、クラス最高の価格とパ フォーマンスを公式に実証しています。 そのために、データ統合、つまり一般にETLと呼ばれるもののための最初の業界標準ベンチマークである TPC-DI...
エグゼクティブのためのデータ、アナリティクス、AI変革ガイド 第2回：ユースケースの特定と優先順位付け
Original Blog : The Executive’s Guide to Data, Analytics and AI Transformation, Part 2: Identify and prioritize use cases 翻訳： junichi.maruyama 本連載は、データおよびAIの変革 イニシアチブを率いるシニアエグゼクティブと重要な洞察と戦術を共有するための複数回シリーズのパート2です。シリーズのパート1は こちら...
クラスターポリシーのGeneral Availabilityのお知らせ
Original Blog : Announcing General Availability of Cluster Policies 翻訳： junichi.maruyama この度、クラスターポリシーが一般公開されることになりました。 Why Databricks cluster policies? Databricksのクラスタポリシーによって、管理者は以下のことが可能になります： エンドユーザーのクラスタ構成を制御することで、コストを抑えることができます。 エンドユーザーによるクラスタ作成の効率化 コスト管理のためにワークスペース全体にタグ付けを強制する。 Databricksは、個人利用、共有利用、ジョブという3つの一般的なユースケースに対して、あらかじめ設定されたクラスターポリシーを提供します。管理者は、独自のポリシーをカスタマイズしたり、あらかじめ設定されたオプションを編集することも可能です。 How to...
Visual Studio CodeからDatabricks上でSQLクエリを実行する
Original Blog : Run SQL Queries on Databricks From Visual Studio Code 翻訳： junichi.maruyama 本日、人気のSQLTools拡張機能の プレビュードライバ を使 用して、Visual Studio CodeからDatabricks上のSQLクエリを実行できるようになったことをお知らせします。このプレビュー・リリースは、先日公開された VS CodeのDatabricks拡張機能 を補完するもので、これによりユーザーはDatabricksが管理するコンピュート上でローカルに開発したコードを同期して実行することができます。 Databricks...