2024 Databricks GenAI 월드컵 아메리카스 우승자: GreenLight Biosciences의 AdaptiveFilters

(이 글은 AI의 도움을 받아 번역되었습니다. 원문이 궁금하시다면 여기를 클릭해 주세요)

GreenLight Biosciences는 Databricks가 주최하는 Generative AI 월드컵이라는 6주간의 해커톤에 참가하여 Databricks 데이터 인텔리전스 플랫폼을 최대한 활용하는 이미지 처리 에이전트를 구축했습니다. 이 행사는 18개국 이상에서 온 1500명 이상의 데이터 과학자와 AI 엔지니어들을 모으고, GreenLight Biosciences 팀이 대상을 수상했습니다. 팀은 Databricks Mosaic AI의 최첨단 GenAI 기능, 즉 모델 서빙, 벡터 검색, Databricks 노트북, Databricks 앱을 활용하여 최종 제품을 만들었습니다.

배경

성장하는 세계 인구와 기후 변화의 환경적 영향으로 인해 농업에서의 빠른 혁신이 우리의 식량 공급을 확보하는데 필요합니다. 지속 가능하고, 환경 친화적이며, 효율적인 농업을 달성하기 위한 핵심 도구 중 하나는 새로운 생물학적 농약입니다. 이러한 제품들은 인간, 환경에 해를 끼치고 식품에 잔류물을 남길 수 있는 화학 농약에 대한 의존성을 줄이면서, 다루기 어려운 해충을 관리하는 새로운 방식을 제공합니다.^1,2

GreenLight Biosciences 는 선구적인 생물계 살충제인 Calantha로 이 분야의 선두주자입니다. 이 혁신적인 제품은 RNA 기반의 살충제 스프레이로, 그것의 목표 유전자에 맞춰 제작되었으며, 이는 기존의 화학물질보다 안전한 새롭고 정확한 접근 방식입니다. 최근에는 Science 와 Popular Science, 그리고 이를 사용한 농부들 에게 인정받았습니다.

그러나 Calantha와 같은 제품을 발견하는 과정은 길고 복잡하며, 종종 실험실, 온실, 그리고 현장 시험에서의 장기적인 테스팅을 포함합니다.

생성적 AI(GenAI) 기술은 제품 리드를 위한 스크리닝 과정을 자동화함으로써 이러한 발견 파이프라인을 혁신시키고, 농부들에게 새로운 해결책을 제공하는 데 걸리는 시간을 크게 단축시킬 수 있습니다. 이를 위해, GreenLight Biosciences 는 유망한 분자를 식별하기 위해 이미지 캡처 및 처리 방법을 사용합니다. 현재의 이미지 처리 기술은 대부분 수동으로 파라미터를 식별하는 데 의존하고 있으며, 이 과정은 시간이 많이 소요되고 힘든 작업입니다. 고속 처리 과정은 이러한 도전을 해결하고, 질병 모니터링 및 대량 정량화와 같은 작업에서 새로운 생물농약의 성능을 빠르게 평가하는 데 도움이 될 수 있습니다. 그러나 이러한 견고한 고속 이미지 처리 워크플로우를 개발하는 것은 상당한 투자와 전문 지식을 필요로 하며, 이는 연구 및 개발 초기 단계에서 장애물이 될 수 있습니다.

AdaptiveFilters: 이미지 처리 에이전트

이러한 도전을 극복하기 위해, GreenLight Biosciences는 AdaptiveFilters: GenAI에 의해 구동되는 이미지 처리 에이전트 를 개발하였습니다. 이 도구는 사용자가 이미지와 작업 설명만 제공하면 빠르게 이미지 처리 파이프라인을 생성할 수 있게 해줍니다. AdaptiveFilters는 처리된 이미지, 추천 필터, 그리고 각 선택의 이유를 반환하여 추가적인 사용자 정의와 튜닝을 위한 명확한 시작점을 제공합니다.

AdaptiveFilters의 작동 방식

AdaptiveFilters는 효과적으로 작동하기 위해 이미지와 작업 설명만 필요합니다. 예를 들어, 사용자가 식물의 이미지를 제출하고 작업을 배경에서 식물을 분리하는 것으로 지정하면, AdaptiveFilters는 식물의 분리된 이미지와 적용된 각 필터에 대한 제안된 필터와 자세한 설명을 제공합니다. 이러한 필터는 고속 처리 이미지 처리 파이프라인에 통합될 수 있어, 여러 이미지를 동시에 자동으로 처리할 수 있습니다.

 

애플리케이션 흐름

 

 

입력 & 출력 예시

 

시스템 아키텍처

AdaptiveFilters는 Databricks 플랫폼에서 구축되고 운영되는 다중 모달 GPT4o 채팅 애플리케이션입니다. 이 시스템은 LangGraph 워크플로를 사용하며, 세 가지 주요 에이전트인 Planner, Executor, 그리고 Critiquer 가 Databricks 앱으로 배포됩니다. 플래너는 필터 및 매개변수 계획을 수립하는 책임이 있고, 실행자는 이를 적용하며, 비평가는 이를 사용자의 요청에 대해 검증합니다. 출력이 올바르면 사용자에게 제공되며, 그렇지 않으면 프로세스가 다시 시도됩니다.

Planner는 이전에 생성된 작업 계획을 Databricks Mosaic AI를 사용하여 작업 임베딩 및 모델 서빙을 통해 검색-증강 생성(RAG)을 통해 더욱 향상시켰습니다.

성공적인 계획은 벡터 검색(벡터 저장소)에 저장되어, 미래의 계획을 돕기 위한 작업 계획 유사성 검색을 지원합니다.

주요 장점

AdaptiveFilters는 현재 수동으로 진행되는 필터 추천을 제공함으로써 최종 사용자들에게 프로세스 효율성을 크게 향상시킵니다. 이 도구는 제품이 아이디어에서 출시까지 10년이 걸릴 수 있는 시장에서 매우 중요한 시간을 절약하는 것뿐만 아니라 명확한 근거를 제공함으로써 설명 가능한 AI의 발전에 기여합니다.

기술 사용자들에게, AdaptiveFilters는 기본 이미지 처리 작업을 앱으로 간소화하고, 독점 필터를 배포하는 플랫폼으로서의 역할을 하며, 구조화된 이미지 처리 파이프라인을 개발하는 기반을 마련합니다. 이러한 기능들은 사용자 친화성과 기술적 적응성을 모두 촉진합니다.

미래의 개발

AdaptiveFilters는 필터의 다양성과 정밀도를 모두 향상시킴으로써 더 복잡한 작업을 지원하는 데 엄청난 잠재력을 가지고 있습니다. 목표는 도메인 특정 지식을 언어 모델에 통합하여, 바이오테크와 농업기술 산업의 애플리케이션에 대한 추천을 맞춤화하는 것입니다. 또한, Databricks에서 오픈소스 HuggingFace 모델을 활용하여 고급 이미지 분석을 수행하고, 작업 계획 데이터셋을 사용하여 언어 모델을 미세 조정함으로써 AI의 전반적인 능력을 더욱 향상시킬 수 있습니다.

결론

AdaptiveFilters는 GreenLight Biosciences가 개발한 혁신적인 도구로, 생물학적 해충 방제제의 식별과 개발을 간소화합니다. Databricks를 이용한 생성적 AI를 활용하여, AdaptiveFilters는 이미지 처리 작업을 자동화하며, 이로 인해 소요 시간이 최대 50% 감소하고 생물학적 해충 방제 스크리닝 처리량이 4배 증가합니다. 이 프로젝트는 AI가 농업 생물기술 내의 연구 및 개발을 가속화하는 변혁적인 잠재력을 강조하며, 지속 가능한 농업 실천과 기술을 위한 길을 엽니다.

AI 기반 연구를 가속화할 준비가 되셨나요? Databricks Mosaic AI가 귀하의 산업을 어떻게 변화시킬 수 있는지 알아보세요. 지금 시작해 보세요!

¹Nchu F. 지속 가능한 해충 생물학적 통제: 앞으로 나아갈 길. 응용 과학. 2024; 14(7):2669. https://doi.org/10.3390/app14072669

²Góngora CE, Silva MdC. 농작물 질병 및 해충 통제를 위한 지속 가능한 전략으로 농약 사용량 감소. 농업학. 2024; 14(9):2158. https://doi.org/10.3390/agronomy14092158