ダヤ・クディア

ダヤ・クディア's posts

Abstract representation of LLM Inference token generation pipeline

March 20, 2024/1分未満

高速、安全、高信頼性：エンタープライズグレードのLLM推論

Serving Quantized LLMs on NVIDIA H100 Tensor Core GPUs

January 31, 2024/1分未満

NVIDIA H100 Tensor Core GPU上でのクオンタイズ(量子化)LLMの処理

LLM Training and Inference with Intel Gaudi 2 AI Accelerators

January 4, 2024/4分で読めます

Intel Gaudi 2 AIアクセラレーターによるLLMトレーニングと推論

mixtral_social

December 21, 2023/1分未満

Mixtral 8x7B と Databricks モデルサーヴィングのご紹介

Integrating NVIDIA TensorRT-LLM with the Databricks Inference Stack

December 21, 2023/1分未満

NVIDIA TensorRT-LLMとDatabricks推論スタックを統合する

LLM Inference Performance Engineering: Best Practices

October 12, 2023/2分で読めます

LLM推論パフォーマンスエンジニアリング：ベストプラクティス