SGLang是一个高性能的大语言模型推理框架，提供了丰富的服务器参数配置选项。本文将基于官方文档详细介绍SGLang服务器的各种参数配置，帮助开发者更好地优化模型推理性能。
常用启动命令
多GPU张量并行
python -m sglang.launch_server –model-path meta-llama/Meta-Llama-3-8B-Instruct –tp 2
多GPU数据并行
python -m sglang_router.launch_server –model-path meta-llama/Meta-Llama-3-8B-Instruct –dp 2 –tp 2
内存优化
python -m sglang.launch_server –model-path meta-llama/Meta-Llama-3-8B-Instruct –mem-fraction-static 0.7
长提示词优化
python -m sglang.launch_server –model-path meta-llama/Meta-Llama-3-8B-Instruct –chunked-prefill-size 4096
模型和分词器参数
| –model-path | 模型权重路径，支持本地文件夹或Hugging Face仓库ID | None |
| –tokenizer-path | 分词器路径 | None |
| –tokenizer-mode | 分词器模式：\’auto’使用快速分词器，\’slow’使用慢速分词器 | auto |
| –skip-tokenizer-init | 跳过分词器初始化，在生成请求中传递input_ids | False |
| –load-format | 模型权重加载格式：‘auto’、‘pt’、‘safetensors’、‘npcache’、‘dummy’、‘gguf’、‘bitsandbytes’、‘layered’ | auto |
| –trust-remote-code | 是否允许在Hub上使用自定义模型定义 | False |
| –context-length | 模型最大上下文长度，默认使用模型config.json中的值 | None |
| –is-embedding | 是否将CausalLM用作嵌入模型 | False |
| –enable-multimodal | 启用多模态功能 | None |
| –revision | 使用的特定模型版本 | None |
| –model-impl | 模型实现：‘auto’、‘sglang’、‘transformers’ | auto |
HTTP服务器参数
| –host | 服务器主机地址 | 0.0.0.0 |
| –port | 服务器端口 | 30000 |
| –allow-credentials | 允许跨域凭据 | False |
| –allowed-origins | 允许的跨域来源 | * |
| –allowed-methods | 允许的HTTP方法 | GET, POST, OPTIONS |
| –allowed-headers | 允许的HTTP头 | * |
| –max-request-size | 最大请求大小（字节） | 1048576 |
| –max-queue-size | 最大队列大小 | 1000 |
| –max-batch-size | 最大批处理大小 | 1000 |
| –max-batch-delay | 最大批处理延迟（秒） | 0.1 |
| –max-concurrent-requests | 最大并发请求数 | 1000 |
量化和数据类型参数
| –dtype | 模型数据类型：‘auto’、‘half’、‘float16’、‘bfloat16’、‘float’、‘float32’ | auto |
| –quantization | 量化方法：‘awq’、‘gptq’、‘squeezellm’、‘marlin’、‘aqlm’、‘exl2’、‘quip’、‘eetq’、‘fp8’ | None |
| –kv-cache-dtype | KV缓存数据类型 | auto |
| –rope-scaling | RoPE缩放配置 | None |
| –max-model-len | 模型最大长度 | None |
| –block-size | 块大小 | None |
| –swap-space | 交换空间大小（GB） | 4 |
