私はDatabricksにおけるニューラルネットワークのチーフサイエンティストとして、誰もが自分のデータを使ってAIモデルを構築し、微調整（ファインチューニング）できるようにするという目標に向かって研究チームを率いています。 2020年、私は機械学習の研究者や有識者からなる小さなグループの一員として、MosaicMLを設立しました。 私たちは常に、知識を共有し、コミュニティにツールを提供することで、開かれた科学的探究を支援することに尽力してきました。 同じアカデミック なルーツを持つDatabricksに加わって以来、私たちはそのコミットメントをさらに深めています。
その精神に基づき、私たちは非営利団体 Allen Institute for AI（AI2）の科学者たちと 、 技術的な知識の共有から今日の大きな発表に至るまで、あらゆる面で協力してきました： OLMoです。私の意見では、AI2は世界最高のNLP研究所のひとつであり、非営利団体ならではの自由奔放な創造性、誠実さへのコミットメント、リソースを駆使して最先端の研究を行っているため、なおさらです。私たちは、オープンであることへの信念、厳密な科学を行うことへの情熱、そしてコミュニティの手に渡る成果物を作ることへの愛情において、共通の基盤を見出してきました。
本日AI2は、オープンソースの最先端の大規模言語モデルであるOLMo 7Bをリリースします。Databricksは、AI2チームの取り組みをサポートできたことを誇りに思います。OLMo（Open-source Large Language Modelの略）は、当社の Mosaic AIモデルトレーニングプラットフォームを使用してトレーニングされました。AI2チームは、このモデル（MosaicML LLM Foundryから派生）の開発に使用された事前学習データと学習コ ードも共有しています。
OLMoプロジェクトの成功の一端を担えたことに感激しています。 私たちはツールを共有しましたが、モデルを作るという大変な仕事は彼らがやってくれました。 AI2のシニア・ソフトウェア・エンジニア、ピート・ウォルシュ氏は、"MosaicはOLMoの開発にとって画期的なものでした。 このプラットフォームのおかげで、必要なときにトレーニングやアブレーションを簡単にスケールアップできるようになりました。また、このプラットフォームのコマンドラインインターフェースのおかげで、ラップトップからマルチノードジョブを起動して、迅速に反復作業を行うことができます。" AI2が当社のトレーニング・プラットフォームを使ってシームレスな体験をしたことは、大規模なモデルの構築と微調整を可能な限り簡単に行えるようにするために当社が行ってきた作業を実証するものです。 OLMo 7Bモデルとそのバリエーションについての詳細は、AI2のブログ記事またはHugging Faceのモデルカードをご覧ください。