# vllm
標記為「vllm」的 7 篇文章
AI 基礎設施利用:概覽
AI 基礎設施利用的完整概覽,涵蓋常見攻擊面、威脅類別與防禦策略。
infrastructuregputritonvllmollamakubernetescloud-aicost-amplification
模型服務框架比較
主要模型服務框架(Triton、TorchServe、TF Serving、vLLM、Ray Serve)的安全比較。
infrastructuremodel-servingtorchservetritonvllmvulnerability-analysis
vLLM 安全組態
vLLM 推論伺服器的安全組態,包含認證、網路、資源限制與輸出過濾。
infrastructurevllmllm-servinginference
實作：推論伺服器漏洞利用
Attack vLLM, TGI, and Triton inference servers to discover information disclosure vulnerabilities, denial-of-service vectors, and configuration weaknesses in model serving infrastructure.
labinference-serverinfrastructurevllmtriton
模型服務安全
模型服務基礎設施的安全強化——涵蓋 vLLM、TGI、Triton 推論伺服器設定、API 安全、資源隔離與部署最佳實務。
model-servingvllmtgitritoninferencehardening
實驗室建置：Ollama、vLLM 與 Docker Compose
AI 紅隊的完整實驗環境建置指南：以 Ollama 與 vLLM 進行本地模型服務、GPU 組態，以及多服務測試環境的 Docker Compose 編排。
lab-setupollamavllmdocker
測試 vLLM 推論部署
透過 vLLM 提供服務的模型(含批次、KV 快取與推測解碼)的紅隊測試指南。
walkthroughsplatformsvllminference