Articles by ミンギュ・リー - Databricks ブログ

ファウンデーションモデル機能でGenAIアプリをより速く構築する方法

December 11, 2023 アフマド・ビラル、アスファンディヤール・クレシ、マーガレット・チェン、謝建偉、スー・アン・ホン、ウラジミール・コロフスキー、ミンギュ・リー、Ankit Mathur による投稿 in エンジニアリングのブログ

先週発表した RAG（ Retrieval Augmented Generation ）に続き、Model Servingのメジャーアップデートを発表できることを嬉しく思います。Databricks Model Servingは統一されたインターフェイスを提供するようになり、すべてのクラウドとプロバイダで基盤モデルの実験、カスタマイズ、プロダクション化が容易になりました。これは、組織固有のデータを安全に活用しながら、ユースケースに最適なモデルを使用して高品質のGenAIアプリを作成できることを意味します。新しい統一インターフェースにより、Databricks上であろうと外部でホストされていようと、すべてのモデルを一箇所で管理し、単一のAPIでクエリすることができます。さらに、Llama2 や MPT モデルなどの一般的な大規模言語モデル (LLM) に Databricks 内から直接アクセスできる Foundation Model API...

MLflow AI Gatewayの発表

July 25, 2023 Arpit Jasapara、ベン・ウィルソン、コーリー・ズマール、Harutaka Kawamura、ミンギュ・リー、ウラジミール・コロフスキー、Zhe Wang による投稿 in エンジニアリングのブログ

翻訳：Junichi Maruyama. - Original Blog Link 大規模言語モデル（LLM）は、SQLウェアハウスに保存されたテキストデータのセンチメント分析から、製品に関するニュアンスの異なる質問に回答するリアルタイムのチャットボットの導入まで、ビジネス価値を提供する幅広い潜在的なユースケースを解き放ちます。しかし、これらのアプリケーションのために強力なSaaSやオープンソースのLLMへのアクセスを民主化するには、セキュリティ、コスト、データ関連のさまざまな課題が伴います。例えば、企業全体で SaaS LLM API トークンを効果的に管理するという具体的な課題を考えてみよう：チームがAPIトークンをプレーンテキストとして通信に貼り付けることによるセキュリティの問題共有キーがアプリケーションのクラッシュやレート制限の乱用によるコストのピークにつながるというコストの問題各チームがガードレールなしで独自のAPIトークンを管理することによるガバナンスの問題これらの課題は、組織がイノベーシ