「Databricks Assistant Autocomplete」ついに一般提供開始！
本日、全てのクラウドプラットフォームで「 Databricks Assistant Autocomplete 」の一般提供を開始しました！Assistant Autocompleteは、PythonとSQLの両方で、入力中にAIによるパーソナライズされたコード提案を提供します。 アシスタントオートコンプリート ノートブックやSQLエディタ、AI/BIダッシュボードに直接統合されたAssistant Autocompleteの提案は、開発フローにスムーズに溶け込み、作業に集中したまま効率的にコーディングが進められます。 「普段はGenAIには懐疑的な方ですが、Databricks Assistant Autocompleteは、この技術において数少ない本当に素晴らしいユースケースの一つだと感じています。動作は速く、正確性も十分で、キー入力をかなり節約できるため、入力よりも思考に集中できるようになりました。さらに、APIの定型文（例：プロットの注釈など）を確認するためにインターネットを頻繁に参照する必要がほぼなくなり
LLMのためのコーディングテスト作成 〜Spark SQLに焦点を当てて〜
はじめに コード生成のための大規模言語モデル（LLM）の活用はますます一般的になっており、より速く、よりスマートにコーディングできる利点があります。しかし、LLMが生成するコードの正確性が主な懸念点です。多くのオープンソースのコーディングベンチマークは一般的なコーディングスキルの評価を目的としていますが、企業環境では、LLMは一般的なプログラミング能力だけでなく、MLflowやSpark SQLといった特定のライブラリやツールの利用にも対応する必要があります。 このため、LLMが特定のコーディングライブラリにおける能力を体系的に評価する方法が求められています。 本ブログ記事では、この課題に対処するため、 LLM向けのライブラリ特化型コードテストを生成する手法をご紹介 します。これらの生成されたテストケースは、モデルを評価するための構造化された方法を提供し、特定のライブラリに適したモデルを選定する助けとなります。また、ドメイン固有のファインチューニングにより、特定のライブラリへの熟練度向上も測定可能です。 この記事
Databricks で Text2SQL のパフォーマンスを簡単に向上
Databricksでの巧みなプロンプトとファインチューニングにより、Llama3 8B で Spider dev データセットの 79.9% に到達した方法。