過去2年間、Databricksは業界、マイグレーション、データおよびAIのユースケースのための革新的なソリューションを構築するために、主要なコンサルティングパートナーと協力してきました。 Databricks Brickbuilder ソリューションと アクセラレータは 、お客様の導入実績を基盤として、 Databricks データインテリジェンスプラットフォームの 可能性を最大限に引き出し、生産性を向上させ、データから価値を引き出すことができるように、パートナーの経験と知識をパッケージ化したものです。 Databricksは現在までに、レガシーシステムの移行、需要予測、顧客360、リスク管理、製品パフォーマンスなど、 60のパートナーソリューションを立ち上げて います。 最新のマイグレーションBrickbuilderソリューションと、Databricksパートナーがどのようにレイクハウスアーキテクチャへのエンドツーエンドのマイグレーションプロセスを段階的アプローチで支援しているかをご覧ください。 その結果、リ

AIを活用した予測というダイナミックな領域において、企業は戦略的な選択がその軌道を形成することになります。 AIを活用した予測ソリューションのリーダーである antuit.ai （現在はZebra Technologiesの一部） は 、そのような極めて重要な決断を下しました。 Antuit.aiは、社内のインフラストラクチャの道を歩むのではなく、Databricks Data Intelligence Platformのレイクハウス・アーキテクチャに軸足を置くことを選択しました。 レイクハウスとは？ 簡単に言えば、レイクハウスはDatabricksが開拓したコンセプトで、ユニークなタイプのデータ管理システムです。 データレイクの良い部分（柔軟性やコスト効率など）とデータウェアハウスの良い部分（慎重なデータ管理など）を組み合わせたものです。 これにより、より優れたビジネスインテリジェンスと機械学習が可能になります。 その設計により、データチームがより簡単かつ迅速に使用できるようになりました。 すべてのクラウドで標

汎用的な質問応答用の大規模言語モデルをどのようにファインチューニングすればよいのでしょうか？ 興味深いアプローチの1つは、少数の高品質なサンプルに対する教師ありのファインチューニングです。 最近の LIMA（"Less Is More for Alignment" ） 研究では、1,000の多様で質の高い質問と回答のペアでトレーニングするだけで、汎用的な指示の追従が達成できると大胆に主張しました。同時期の他のいくつかの研究でも、この種の「スタイルアライメント」のファインチューニングは、少数の質の高いサンプルで達成できると主張しています（例えば 、Alpaca、 Vicuna 、 Alpagasus 、および Tülü 、しかし、 The False Promise of Imitating Proprietary...

[配布に関する声明 A. 公開を承認；配布は無制限 412TW-PA-24004] 本書は、米国空軍、国防総省、または米国政府の公式な方針または立場を反映するものではありません。 米空軍（USAF）ハッカソンとは？ 空軍テストセンター（AFTC）データハッカソンは、AFTCのテスト専門家が1週間にわたって集まり、新しい技術を駆使して空軍の新たな問題に取り組むコンソーシアムです。 今回の第5回ハッカソンでは、大規模言語モデル（LLM）に焦点を当て、AFTCの3つの拠点に44名の参加者が集まり、また遠隔地からの参加者もありました。 OpenAIのChatGPTのようなLLMは、急速に技術分野で注目を集めるようになり、コードの初期化や文章コンテンツの下書きにデジタルアシスタントを利用するというアイデアが主流になりつつあります。 このような利点があるにもかかわらず、空軍では、機密情報を領域外に暴露する可能性があるため、商用モデルの短期的な使用には制約があります。 機能するLLMを空軍の境界内に配備したいという意欲はありま

Databricksでは、革新的なデータとAI製品を構築してきた長年の歴史を通じて、責任ある開発の原則を堅持してきました。 私たちは青空のように広がる可能性を秘めた研究（blue-sky research）とオープンソースの革新に取り組んでいます。これは私たちの文化の一部であり、当社の学術的なルーツに由来するものです。 この遺産を基に、Databricksは最近、イノベーションを促進し、安全で信頼できるAIの使用を提唱するいくつかの業界および政府の取り組みに参加しました。 当社のデータインテリジェンスプラットフォームからの洞察を研究に提供したり、他の業界関係者と協力してAIに関する政策立案者を教育したりするなど、DatabricksはAIの進歩を加速し、安全性を向上させ、セキュリティを強化し、信頼を活用するためのイニシアチブの一翼を担っていることを誇りに思っています。 以下は、私たちが参加または協力しているグループの一部です： AIアライアンス AIアライアンスは、オープンイノベーションに根ざした安全で責任あるA

2023年4月にDatabricks ARCの リリースを発表 し、単一テーブル内のデータをシンプルに自動リンクできるようになりました。 本日、オープンでスケーラブル、かつシンプルなフレームワークを使用して、2つの異なるテーブル間のリンクを検索できる機能強化を発表しました。 英国司法省が開発し、ARCのリンクエンジンとして機能する Splink は、強力でオープンで説明可能なエンティティ解決パッケージを提供するために存在します。 2つの異なるテーブルの間に共通のフィールドがあり、そのフィールドがテーブル間の直接のリンクとなります。 同じNIナンバー（英国の国民保険番号）を持つ2つの記録は同一人物であるはずです。 しかし、このような共通のフィールドがないデータをどのようにリンクするのでしょうか？ あるいは、データの質が悪い場合ですか？ NIナンバーが同じだからといって、誰かが書き間違えたとは限りません。 このような場合、確率的データリンク、つまりファジーマッチングの領域に入ります。 下の図は、2つのテーブルをリンク

このブログは、Welldocのチーフ・アナリティクス・オフィサー、アナンド・アイヤー（博士、MBA）およびデータ・サイエンス・マネージャー、アビ・クンバラとの共同執筆です。 循環代謝ケアとデジタルヘルスが交差することで、現代のヘルスケアは一変します。 心代謝性疾患は、長期にわたる持続的な経過をたどることが多く、継続的なケアが必要であり、医療システムの経済的負担に大きく寄与しています。 肥満、高血圧、糖尿病、心臓病など、これらの病態はしばしば併存し、相乗的に深刻な健康合併症のリスクを高めます。 CDCによると、全米の医療費4兆1,000億ドルの90％は、慢性疾患や精神疾患を抱える人々のためのものです。 デジタルヘルスソリューションは、従来のヘルスケアパラダイムを再構築し、心代謝系疾患のプロアクティブでパーソナライズされた管理における極めて重要なツールとして浮上しています。 ウェアラブルデバイスと接続された医療機器により、バイタルサイン、活動レベル、その他の関連する健康データの継続的な追跡が可能になります。 これらの

私はDatabricksにおけるニューラルネットワークのチーフサイエンティストとして、誰もが自分のデータを使ってAIモデルを構築し、微調整（ファインチューニング）できるようにするという目標に向かって研究チームを率いています。 2020年、私は機械学習の研究者や有識者からなる小さなグループの一員として、MosaicMLを設立しました。 私たちは常に、知識を共有し、コミュニティにツールを提供することで、開かれた科学的探究を支援することに尽力してきました。 同じアカデミックなルーツを持つDatabricksに加わって以来、私たちはそのコミットメントをさらに深めています。 その精神に基づき、私たちは非営利団体 Allen Institute for AI（AI2 ）の科学者たちと 、 技術的な知識の共有から 今日の大きな発表 に至るまで、あらゆる面で協力してきました： OLMoです。私の意見では、AI2は世界最高のNLP研究所のひとつであり、非営利団体ならではの自由奔放な創造性、誠実さへのコミットメント、リソースを駆使し

このブログ記事では、Databricks SQL マテリアライズド・ビュー をLakeviewダッシュボードで使用して、ビジネスに新鮮なデータと洞察を提供する方法を紹介します。 先日、 Databricks Data Intelligence Platform におけるLakeviewダッシュボードのパブリックプレビューを 発表 しました。Lakeview のダッシュボードは、Databricksの顧客のためのビジュアライゼーションとレポーティング体験の作成において、大きな前進を意味します。 視覚化が大幅に改善され、共有や配布に最適化されたシンプルなデザイン体験を提供します。 Lakeview ダッシュボードは Databricks SQL (DBSQL) データウェアハウス上で実行されます。 DBSQLを使用すると、レガシーなクラウドデータウェアハウスの数分の一のコストで、選択したツールですべてのSQLおよびBIアプリケーションを大規模に実行できます。 マテリアライズド・ビューは、ビジネスに新鮮なデータを提供す