vllm+llama3.1部署！

见贤思齐

与我之前写的部署qwen2一样步骤：vllm+qwen2部署！_vllm部署qwen2-CSDN博客须注意的是：启动llama3.1_8b_instruct 需要将transfomers更新到最新4.43.2版本！pipinstall--upgradetransformers参考：最新LLMLlama3.1をAWQで4bit量子化してGPUサーバーに乗せてチャットできるようにした#Python-QiitaCUDA_VISIBLE_DEVICES=0,1python-mvllm.entrypoints.openai.api_server--model/你自己的路径/modles/llama3.1_8b_instruct --served-model-namellama3.1_8b_instruct--max-model-len=2048--dtype=half--tensor-parallel-size=2成功启动！