正確性、安全性、ガバナンス：生成AIをPOCからプロダクションに移行する方法
生成AIの企業導入に関して、ほとんどの組織は過渡期にあります。 私たちが話をした顧客の88% は、 現在、生成AIのパイロットプロジェクトを実行して いると述べていますが、大多数は、テスト環境から本番環境に実験を移行することに神経質になりすぎているとも述べています。 では、何がこの格差を引き起こしているのでしょうか？ それがコストとリスクに関する懸念です。 以前は、IT投資を行う場合、企業は「構築すれば価値は後からやってくる」という考え方をすることができましたが、もう違います。現在は、新しいプロジェクトは、ビジネスにとって価値あるものを迅速に生み出すことが求められています。 かつては、役員や投資家はIT投資に対するリターンが得られるまで数年待っても構わなかったかもしれませんが、今ではわずか6ヶ月での進展を求めています。 企業は、生成AI開発コストのROIを懸念しているだけでなく、AIシステムが悪い結果や不正確な結果（ハルシネーションなど）を吐き出し、ビジネスに損害を与えたり、企業の機密情報が漏洩する可能性があるこ
DatabricksによるGenAIの構築とカスタマイズ：LLMとその先へ
ジェネレーティブAIは、ビジネスに新たな可能性をもたらし、組織全体で力強く受け入れられています。 最近の MIT Tech Reviewの レポートによると、 調査対象となった600人のCIO全員がAIへの投資を増やしており、71％が独自のカスタムLLMやその他のGenAIモデルの構築を計画していると回答しています。 しかし、多くの組織では、自社のデータで学習させたモデルを効果的に開発するために必要なツールが不足している可能性があります。 ジェネレーティブAIへの飛躍は、単にチャットボットを導入するだけではありません。 この変革の中心は、 データレイクハウス の出現です。 このような高度なデータアーキテクチャは、GenAIの可能性を最大限に活用する上で不可欠であり、データとAI技術の迅速かつコスト効率の高い、より広範な民主化を可能にします。 企業が競争上の優位性を確保するためにGenAIを活用したツールやアプリケーションへの依存度を高める中、基盤となるデータインフラは、これらの先進技術を効果的かつ安全にサポートでき
Databricks ❤️ Hugging Face
Original Blog : Databricks ❤️ Hugging Face 翻訳： junichi.maruyama ジェネレーティブAIが世界を席巻しています。データ＆AIカンパニーである私たちは、オープンソースの大規模言語モデル「Dolly」と、そのファインチューニングに使用した研究・商用利用のための社内クラウドソーシングデータセット「databricks-dolly-15k」をリリースし、この旅に参加しています。モデルもデータセットも、Hugging Faceで公開されています。そして今日、私たちはHugging Faceコードベースへの最初の公式コミットを発表し、ユーザーがApache Spark™データフレームからHugging Faceデータセットを簡単に作成できるようにすることに興奮しています。 「Databricksがモデルやデータセットをコミュニティに公開することは素晴らしいことですが、今回、Hugging Faceに直接オープンソースを提供することで、その作業を拡張していることがわか
AI Functions のご紹介： 大規模な言語モデルをDatabricks SQLで統合する
Introducing AI Functions: Integrating Large Language Models with Databricks SQL 翻訳： junichi.maruyama 大規模言語モデルの分野で素晴らしい進歩が見られる中、お客様から、SQLアナリストが日々のワークフローでこの強力なテクノロジーを活用できるようにするにはどうしたらよいかという問い合わせがありました。 本日、私たちはAI Functions のパブリックプレビューを発表できることを嬉しく思います。AI Functionsは、DBに組み込まれたSQL関数で、SQLから直接Large Language Models（LLM）にアクセスできるようになります。 今回の発表により、使い慣れたSQLのインターフェイスから、自社のデータに対してLLMの実験を素早く行うことができるようになりました。正しいLLMプロンプトを開発したら、Delta Live Tablesやスケジュールされたジョブなど、既存のDatabricksツールを使