1.transformers代码

from transformers import AutoTokenizer path = "./models/Qwen2.5-0.5B-Instruct" tokenizer = AutoTokenizer.from_pretrained(path) messages = [{"role": "user", "content": "你好，介绍一下你自己"}] text = tokenizer.apply_chat_template( messages, tokenize=False, add_generation_prompt=True ) print(text) inputs = tokenizer(text, return_tensors="pt") print("inputs.input_ids:\n", inputs.input_ids) print("inputs.input_ids.shape", inputs.input_ids.shape) print("inputs.attention_mask:\n", inputs.attention_mask) print("inputs.attention_mask.shape", inputs.attention_mask.shape) read more

1.请求通用处理过程

用户 HTTP 请求 │ ▼ ┌─────────────────────────────────────────────────────────┐ │ ① 接入层：鉴权 → 限流 → 参数解析 → Tokenize │ └────────────────────────┬────────────────────────────────┘ ▼ ┌─────────────────────────────────────────────────────────┐ │ ② 调度器：入队 → 资源预估 → 组 Batch → 分配 KV Cache │ └────────────────────────┬────────────────────────────────┘ ▼ ┌─────────────────────────────────────────────────────────┐ │ ③ Prefill：整段 prompt 一次性前向 → 生成第 1 个 token │ │ （算力密集，决定首字延迟 TTFT） │ └────────────────────────┬────────────────────────────────┘ ▼ ┌─────────────────────────────────────────────────────────┐ │ ④ Decode 循环：每步 1 token → 前向 → 采样 → 追加 KV │ │ （带宽密集，决定生成速度 TPS） │ │ ┌──→ 前向计算 ──→ 采样 ──→ 停止判断 ──┐ │ │ └──────────────────────────────────────┘ │ └────────────────────────┬────────────────────────────────┘ ▼ ┌─────────────────────────────────────────────────────────┐ │ ⑤ 后处理：Detokenize → 敏感词过滤 → 格式化 │ └────────────────────────┬────────────────────────────────┘ ▼ ┌─────────────────────────────────────────────────────────┐ │ ⑥ 返回：流式 SSE / 一次性 JSON │ └────────────────────────┬────────────────────────────────┘ ▼ ┌─────────────────────────────────────────────────────────┐ │ ⑦ 资源回收：释放 KV Cache Block → 调度器补入新请求 │ └─────────────────────────────────────────────────────────┘ read more

1.下载模型文件

https://hf-mirror.com/mlx-community/models?search=qwen3.5

https://modelscope.cn/models?name=qwen

找到需要下载的模型，模型数据默认缓存在：/Users/peile.duan/.cache/huggingface/hub/，可通过–local-dir指定下载路径。具体命令如下：

uv pip install huggingface_hub
export HF_ENDPOINT=https://hf-mirror.com
hf download Qwen/Qwen2.5-0.5B-Instruct --local-dir ./models/Qwen2.5-0.5B-Instruct

uv pip install modelscope
modelscope download --model Qwen/Qwen3.5-9B --local-dir ./models/Qwen3.5-9B

2.模型格式说明

2.1 格式对比

2.1.1 信息组成

一个”能用的大模型”至少包含 4 部分信息：

各种格式的本质区别，就是这 4 样东西”放在哪里”。

2.1.2 应用场景

HF/Transformers 格式是唯一的”母版”（能训练、生态最全）；GGUF 是为消费级本地推理做的单文件自包含分发格式；ONNX 是为跨框架跨硬件设计的自描述计算图；TensorRT/CoreML 之类是针对特定硬件的预编译产物。

2.2 标准Transformers模型文件说明

(AI) peile.duan@U-7K6V5HCV-0153 AI % ls -rlt models/Qwen3.5-9B-MLX-4bit/ total 11674032 -rw-r--r-- 1 peile.duan staff 600449850 8 6 22:38 model-00002-of-00002.safetensors -rw-r--r-- 1 peile.duan staff 1954 8 6 22:38 README.md -rw-r--r-- 1 peile.duan staff 19989343 8 6 22:38 tokenizer.json -rw-r--r-- 1 peile.duan staff 3331 8 6 22:38 config.json -rw-r--r-- 1 peile.duan staff 1300 8 6 22:38 processor_config.json -rw-r--r-- 1 peile.duan staff 5349771222 8 6 22:38 model-00001-of-00002.safetensors -rw-r--r-- 1 peile.duan staff 1139 8 6 22:38 tokenizer_config.json -rw-r--r-- 1 peile.duan staff 6722759 8 6 22:38 vocab.json -rw-r--r-- 1 peile.duan staff 385 8 6 22:38 video_preprocessor_config.json -rw-r--r-- 1 peile.duan staff 390 8 6 22:38 preprocessor_config.json -rw-r--r-- 1 peile.duan staff 123592 8 6 22:38 model.safetensors.index.json -rw-r--r-- 1 peile.duan staff 7756 8 6 22:38 chat_template.jinja read more