记录使用 TensorRT-LLM 构建 Llama-3.2-1B-Instruct engine，并通过 Triton Server 部署推理服务的完整流程，重点说明 checkpoint 转换、engine 构建参数、Triton model repository 配置、OOM 排查和 fill_template.py 模板参数问题。
Latest Posts
最近文章
practice
TensorRT-LLM 入门实战：Llama 模型量化与推理
TensorRT-LLM 入门教程，将 Llama-3.2-1B-Instruct 模型转换为 TensorRT-LLM 格式并进行 INT8 量化推理