ようこそOkera： AIを中心としたアプローチでガバナンスを実現する
Original: Welcome Okera: Adopting an AI-centric approach to governance 翻訳: junichi.maruyama Databricksは10年にわたり、世界中の組織のためにデータとAIの民主化に力を注いできました。そして、昨年11月のChatGPTのデビュー、そして最近の Dolly 2.0 の導入以来、すべてのお客様が、AIと大規模言語モデル（LLM）の力をビジネスでどのように活用できるかを私たちに尋ねています。また、その直後には、この新しい世界でデータのセキュリティとプライバシーをどのように守ることができるのか、という質問も寄せられています。 そこで当社は、世界初のAI中心のデータガバナンスプラットフォームであるOkeraを買収する正式契約を締結したことを発表します。Okeraは、データとAIのスペクトルにわたって、データプライバシーとガバナンスの課題を解決します。データの可視性と透明性を簡素化し、LLMの時代に不可欠なデータの理解や、その
edXの新しい専門家主導の大規模言語モデル（LLMs）コースに登録する
Original : Enroll in our New Expert-Led Large Language Models (LLMs) Courses on edX 翻訳 ： junichi.maruyama edXの 入門コース に今すぐ登録する！コースは2023年夏開始予定です edXの新しい大規模言語モデルコース Large Language Model...
YipitDataがDatabricks Unity Catalogを活用しデータサービスの拡張を実現
This blog is authored by Anup Segu, Co-Head of Data Engineering at YipitData Original Blog : YipitData leverages Databricks Unity Catalog to Scale...
Free Dolly: 世界初の真にオープンな指示でチューニングされたLLM
Original Post： Free Dolly: Introducing the World's First Truly Open Instruction-Tuned LLM 翻訳： Takaaki Yayoi 2週間前、ChatGPTのような人間のインタラクティブ性(指示追従性)を示すように、$30以下でトレーニングされた大規模言語モデル(LLM)である Dolly をリリースしました。本日、 研究と商用利用 にライセンスされた、人の手で生成された指示データセットでファインチューンされた、史上初のオープンソース、指示追従LLMである Dolly 2.0 をリリースします。...
Dolly：オープンなモデルで ChatGPT の魔法を民主化
概要 Databricks では、従来のオープンソースの大規模言語モデル（LLM）を利用して ChatGPT のような命令追従能力を実現できることを確認しました。高品質な学習データを使用して 1 台のマシンで 30 分ほどトレーニングするだけです。また、命令追従能力の実現には、必ずしも最新のモデルや大規模なモデルは必要ないようです。GPT-3 のパラメータ数が 1750 億であるのに対し、私たちのモデルでは 60 億です。私たちはモデル Dolly のコードをオープンソース化しています。Dolly を Databricks 上でどのように再作成できるか、今回のブログではこのことについて詳しく解説します。 Dolly のようなモデルは LLM の民主化を促進します。LLM...
集まれ！Legendary Heroes of DATA + AI !! Vol3
日本のDatabricks Championの皆様に、目指したその理由や、これからの思いについて伺う「集まれ！Legendary Heroes of DATA + AI !!」。お楽しみいただいておりますでしょうか？ Vol1、Vol 2 でご紹介した皆様からのコメントからは熱い想いが溢れていますよね。私たちにとっては本当に心強い存在であるとともに、正に、Legendary Heros of DATA + AI !! に相応しい皆様だと思います！！ さて、最終回のVol.3 では、 日本マイクロソフト 中里 浩...
時系列予測ライブラリ Prophet と Spark との連携
1. 時系列予測と Prophet 時系列予測は、周期性や季節性変動がある事象に対して予測を行います。例えば、ある商品の毎月の売り上げを考えると、商品の特性で夏に売り上げが上がり、また、週末や休日前になると多く売れるなど、さまざまな季節性、周期性要因が売り上げに関与してきます。時系列予測では、こうした季節性、周期性要因をうまくモデル化することが求められます。 Prophet は、こうした時系列予測のためのオープンソースライブラリです。Facebook 社の Core Data Science チームが開発・リリースしており、年毎、週毎、日毎の周期性に加え、休日の影響などを考慮して非線形な傾向を持つ時系列データをシンプルにモデル化できるという特長があります。さらに、異常値や欠損データの扱いにも強く、また、人間が理解しやすいパラメタやドメイン知識などを加えることで、モデルの精度を向上させる機能も備えています。 Prophet は、R および Python で利用可能です。今回は、Python を使用した Prophe
集まれ！Legendary Heroes of DATA + AI !!
現在、世界では約200名の精鋭がDatabricks Championとしてご活躍されていますが、その動きは日本でも然り。日本のDatabricks Championの皆様に、目指したその理由や、これからの思いについて伺う「集まれ！Legendary Heroes of DATA + AI !!」。Vol.2としてアクセンチュア株式会社 様をご紹介します！ データブリックスの目指す世界は、私たち単体ではなし得ません！ 「 Databricks Champion 」の皆様は、共にゴールを共有し、共に走っていく、まさしく、Legendary Heroes of DATA + AI です！！ 今回は、 アクセンチュア株式会社...
コーニングがDatabricks LakehouseプラットフォームでエンドツーエンドのMLを構築した方法
“This blog is authored by Denis Kamotsky, Principal Software Engineer at Corning” 翻訳：Junichi Maruyama オリジナルブログは こちら コーニングは約200年にわたり、材料科学における世界有数のイノベーターであり続けています。これらのイノベーションには、トーマス・エジソンの電灯用の最初のガラス電球、最初の低損失光ファイバー、触媒コンバーターを可能にするセルラー基板、モバイル機器用の最初の破損防止カバーガラスなどが含まれます。コーニングでは、限界に挑戦し続けるとともに、機械学習のような破壊的技術を駆使して、より優れた製品を提供し、効率化を推進しています。 機械学習による製造工程の効率化 高品質な製品を提供することは、世界中の製造拠点における重要な目標であり、MLがその目標達成にどのように貢献できるかを模索し続けています。例えば、乗用車や商用車のエアフィルターや触媒コンバーターに使用されるコーニングのセラミックを製造する工
集まれ！Legendary Heroes of DATA + AI !!
データブリックスの目指す世界は、私たち単体ではなし得ません！そこで、共にゴールを共有し、共に走っていく皆様に向けて「 Databricks Champion 」というプログラムを設けております。 現在、世界では約200名の精鋭がDatabricks Championとしてご活躍されていますが、日本でもその動きは盛り上がってきており、Databricks Championが増えてきています。 本ブログでは、難関を突破し、晴れてDatabricks Championになられた4名の方に、Databricks Championを目指したきっかけやこれからの思いについて、3回に分けてご紹介したいと思います。 ＜今回ご紹介する Legendary Heroes of DATA＋AI! > [Vol.1] 株式会社NTT データ 斎藤 祐希 様、洪...