Databricks Assistant 와 AI 생성 코멘트 일반 공개(GA)

오늘 우리는 모든 클라우드 플랫폼에서 Databricks Assistant 와 AI 생성 코멘트의 일반 공개를 발표하게 되어 매우 기쁩니다. Databricks의 사명은 우리 플랫폼을 가능한 한 쉽게 사용할 수 있도록 함으로써 데이터와 AI를 대중화하는 것입니다. 이를 위해 우리는 모든 고객에게 추가 비용 없이 이러한 기능을 제공하고 있습니다.

지난 11월, 우리는 데이터 인텔리전스 플랫폼이라고 불리는 새로운 세대의 데이터 플랫폼에 대한 비전을 공유했습니다. 이는 AI의 힘을 활용하여 데이터 관리, 거버넌스, 그리고 데이터로부터 인사이트를 도출하는 방식을 혁신하는 것입니다. Databricks Assistant와 AI 생성 주석의 출시로, 우리는 이 비전에 한 걸음 더 가까워졌습니다. 이러한 기능들은 AI 모델, 검색, 랭킹, 개인화 시스템을 활용하는 복합 AI 시스템으로 구동되어 조직의 데이터 의미과 사용 패턴을 이해합니다.

Databricks Assistant

Databricks Assistant를 통해 우리는 기업 데이터를 위한 최고의 AI 기반 생산성 도구를 구축하고자 했습니다. 프리뷰 이후 그 채택률은 압도적이었습니다. Assistant는 Databricks의 가장 빠르게 성장하는 기능 중 하나로, 매월 150,000명 이상의 사용자가 코드 자동 생성, 오류 해결, 시각화 및 대시보드 생성에 이를 활용하고 있습니다.

한 번도 코딩해 본 적이 없는 언어로 200줄 이상의 탄탄한 코드를 작성할 수 있었습니다. 

— Josue A. Bogran, 솔루션 아키텍트 관리자, Kythera Labs

지난 몇 달 동안 사용자 경험과 응답 품질을 개선하기 위해 열심히 노력해 왔습니다. 다음은 몇 가지 주요 신규 기능입니다:

• 더 정확한 답변을 위한 데이터 인식 컨텍스트: Assistant와 같은 AI 도구는 최상의 결과를 생성하기 위해 고품질 메타데이터에 접근해야 합니다. 데이터셋과 그 사용 패턴을 이해하는 것은 깊은 의미론적 이해를 발전시키는 데 필요하며, 이는 더 풍부한 AI 기능이 데이터 플랫폼에 존재해야 한다고 믿는 주된 이유입니다. 지난 1년 동안, 우리는 관련 워크스페이스 컨텍스트를 통합하는 것이 Assistant 응답의 정확성에 가장 큰 영향을 미쳤다는 것을 발견했습니다. 스택 트레이스, 리니지, 인기 있고 즐겨찾는 테이블, 데이터프레임 스키마, 주변 셀, 관련 문서 등에서 추가 컨텍스트를 추가하면서 Assistant의 정확성이 크게 향상되었습니다.

• 모든 페이지에서 사용 가능한 Assistant: 우리는 Assistant를 노트북과 SQL 편집기에서 꺼내어 Databricks의 모든 페이지에 추가했습니다. 이를 통해 Databricks 제품 페이지 전체에서 대화를 이어갈 수 있습니다. 예를 들어, 하나의 대화에서 Databricks Assistant는 작업 실패를 진단하고, 코드를 수정하는 방법을 추천하며, 작업을 재시작하는 데 도움을 줄 수 있습니다. 또한 새로운 Assistant 채팅을 생성하거나 이전 작업을 재개할 수 있는 여러 대화 스레드 기능도 추가했습니다.

• 코드 및 쿼리 정제를 위한 인라인 채팅:  또한 Assistant에 대한 여러 가지 UX 개선 작업을 진행해 왔습니다. 코드 한 줄을 선택하고 인라인 채팅의 키보드 단축키(Windows의 경우 Ctrl+i, Mac의 경우 Cmd+i)를 사용하면 편집기를 벗어나지 않고도 코드를 빠르게 반복할 수 있습니다.

• 간편한 실행을 위한 슬래시 명령: 시맨틱 검색을 활용하여 /findTables로 표를 찾거나 /doc으로 주석을 추가하세요. 슬래시 명령이 내장되어 있어 긴 프롬프트를 입력하지 않고도 작업을 쉽게 수행할 수 있습니다.

• Assistant 자동 완성(프리뷰): 최근 사용자가 입력하는 대로 실시간 코드 제안을 제공하는 새로운 AI 기반 기능인 데이터브릭스 Assistant 자동 완성 기능을 도입했습니다. Unity Catalog 메타데이터와 코드의 기타 컨텍스트를 활용하여 SQL 및 Python에 대해 연관성 높은 코드 완성 기능을 제공합니다.  

• AI/BI 대시보드 차트 생성(프리뷰): Assistant를 사용하면 Databricks AI/BI 대시보드 에디터에서 시각화를 빠르게 만들고 반복할 수 있습니다.
  
  

우리는 여러분이 Databricks에서 생산성을 향상시키기 위해 Assistant를 어떻게 사용하는지 보게 되어 매우 기쁩니다. 앞으로 몇 달 동안 다수의 흥미로운 Assistant 기능들을 계획하고 있으며, 곧 이를 공개할 예정이어서 매우 기대됩니다.

.”Databricks Assistant는 생산성 향상에 중추적인 역할을 합니다. 페어 코딩과 Databricks Assistant의 전문성을 활용함으로써, 우리 팀들의 개발과 분석 작업이 약 50% 더 빨라졌습니다."

— Pedro Antonio Boareto, 데이터 엔지니어, Banco Bradesco

Unity Catalog의 AI 생성 코멘트

오늘 일반 공개되는 또 다른 기능은 Unity Catalog의 AI 생성 코멘트입니다. 이 기능은 생성형 AI를 활용하여 관련 테이블 설명과 컬럼 코멘트를 제공합니다. 이 기능을 출시한 이후, Databricks에서 이루어지는 테이블 메타데이터 업데이트의 80% 이상이 AI의 도움을 받고 있습니다.

카탈로그 전반에 걸쳐 AI 생성 코멘트를 사용하는 것은 Assistant의 답변을 개선하는 가장 좋은 방법 중 하나입니다. 테이블과 컬럼에 대한 설명적인 코멘트를 제공하면 우리의 벤치마크에서 응답의 정확도가 크게 향상되었습니다. 'Databricks Assistant를 최대한 활용하기 위한 5가지 팁'에서는 한 걸음 더 나아가 컬럼 코멘트에 행 수준 데이터의 예시를 수동으로 추가했습니다. 설명적인 메타데이터를 구축하는 데는 시간이 걸리지만, 이는 Assistant의 정확도를 향상시키기 위해 수행할 수 있는 가장 가치 있는 작업 중 하나입니다.

사용자 생산성의 큰 향상

출시 이후, 우리는 최상위 Assistant 사용자들에게 설문 조사를 보내 다양한 작업에서 Assistant가 그들의 생산성과 효율성에 어떤 영향을 미치는지 더 잘 이해하고자 노력해 왔습니다. 지금까지 받은 응답을 기반으로, 72%의 사용자가 시간 절약을 보고했으며, 사용자들은 최대 50%의 생산성 향상을 보고했습니다.

다음은 우리가 받은 주요 의견들 중 일부입니다:

"SiriusXM에서는 Databricks Assistant를 사용하여 노트북을 만들고, 복잡한 쿼리를 작성하며, 데이터 레이크 내 테이블을 조인하는 방법을 찾고, 코딩 문제를 해결하여 데이터 팀의 개발 시간을 절약하고 있습니다."

 — Bernie Graham, 데이터 엔지니어링 VP, Sirius XM

"Databricks Assistant의 도입으로 우리 사용자 기반이 더 쉽게 기술을 향상시킬 수 있게 되었습니다. 개발 주기에 원활하게 통합되어 전문 데이터 과학자, 엔지니어, 분석가의 생산성을 크게 향상시켰습니다. 사용자들은 그 어느 때보다 빠르게 코드를 이해하고, 생성하고, 최적화하며, 문제를 해결할 수 있게 되었습니다. Databricks 생태계의 지속적인 성장과 Databricks Assistant의 지속적인 발전으로 차세대 도구들이 더욱 접근하기 쉬워졌습니다."

 — Nicholas Heier, 수석 매니저, General Motors

"Assistant는 반복적인 코딩 작업의 자동화를 통해 우리 팀 전체의 생산성을 향상시킵니다. 디버깅에도 아주 좋습니다."

 — Stephen Reid, 데이터 과학자, SSE Business Energy

Databricks Assistant는 기업의 요구를 위해 설계되었습니다

데이터와 AI 기업으로서 기업 고객이 세계의 가장 어려운 문제를 해결하기 위해 데이터에서 가치를 추출하는 것을 돕는 데 초점을 맞추고 있는 우리는, 기술을 개발하는 기업과 이를 사용하는 기업 및 조직 모두가 AI 배포 방식에 있어 책임감 있게 행동해야 한다고 굳게 믿습니다.

우리는 처음부터 Databricks Assistant를 기업 워크로드의 요구를 충족시키도록 설계했습니다. Assistant는 Unity Catalog 거버넌스를 존중하며 고도로 규제된 산업에 대한 규정 준수 표준을 충족합니다. 귀하의 데이터는 절대 고객 간에 공유되지 않으며 모델 훈련에 사용되지 않습니다. 자세한 정보는 Databricks Trust and Safety를 참조하세요.

바로 사용 가능

Databricks Assistant는 이제 모든 클라우드에서 모든 사용자가 사용할 수 있습니다. Databricks Assistant, AI 생성 주석, Assistant 자동 완성 기능은 모든 고객에게 추가 비용 없이 제공됩니다.

Databricks Assistant의 실제 작동을 보려면 데이터 파이프라인, SQL 쿼리, 데이터 시각화를 구축하는 데 Assistant를 어떻게 사용할 수 있는지 보여주는 데모 비디오를 확인하세요.

만약 Assistant나 AI 생성 코멘트 아이콘이 보이지 않는다면, 관리자가 여기에 문서화된 안내에 따라 Databricks 어카운트 콘솔과 워크스페이스에서 Databricks Assistant를 활성화할 수 있습니다.

(번역: Youngkyong Ko)  Original Post