记录使用 TensorRT-LLM 构建 Llama-3.2-1B-Instruct engine，并通过 Triton Server 部署推理服务的完整流程，重点说明 checkpoint 转换、engine 构建参数、Triton model repository 配置、OOM 排查和 fill_template.py 模板参数问题。
Tags
LLM
practice
TensorRT-LLM 入门实战：Llama 模型量化与推理
TensorRT-LLM 入门教程，将 Llama-3.2-1B-Instruct 模型转换为 TensorRT-LLM 格式并进行 INT8 量化推理
practice
BERT 中文情感分析实战教程
BERT 中文情感分析实战教程，基于预训练 BERT 模型进行中文文本情感分析任务
Writting
LLM 核心概念速查表
大语言模型从基础到部署的完整概念索引