记录使用 TensorRT-LLM 构建 Llama-3.2-1B-Instruct engine，并通过 Triton Server 部署推理服务的完整流程，重点说明 checkpoint 转换、engine 构建参数、Triton model repository 配置、OOM 排查和 fill_template.py 模板参数问题。
Categories
Practice
practice
TensorRT-LLM 入门实战：Llama 模型量化与推理
TensorRT-LLM 入门教程，将 Llama-3.2-1B-Instruct 模型转换为 TensorRT-LLM 格式并进行 INT8 量化推理
practice
BERT 中文情感分析实战教程
BERT 中文情感分析实战教程，基于预训练 BERT 模型进行中文文本情感分析任务