superhack

superhack

V2EX 第 4949 号会员,加入于 2011-01-08 19:10:20 +08:00
superhack
问与答  •  superhack
虚拟信用卡的运行原理是什么?
2023 年 5 月 8 日  •  最后回复来自 8355
3
问与答  •  superhack
有全功能 typec 接口的盒子或者小设备有哪些
2022 年 9 月 25 日  •  最后回复来自 wangshushu
11
macOS  •  superhack
求一个使用了 network extension 的 macOS 开源项目
2022 年 3 月 20 日  •  最后回复来自 superhack
6
MacBook Pro  •  superhack
rmbp 15 配个 惠科 t7000 pro 这个方案怎么样?
2014 年 9 月 5 日  •  最后回复来自 Showfom
24
分享邀请码  •  superhack
求OpenPhoto邀请码,谢谢!
2011 年 12 月 14 日  •  最后回复来自 superhack
6
superhack 最近回复了
回复了 YaD2x 创建的主题 › 关于楼上渗水到楼下的问题,请友友们提供一些建议。8 月 23 日
你说的方案没问题,但是成本只需要 50 (某宝自购),被坑了 1950
回复了 zsj1029 创建的主题 › qwen3.6 27b 本地编码测试4 月 29 日
@zsj1029 是投机推理
回复了 zsj1029 创建的主题 › qwen3.6 27b 本地编码测试4 月 29 日
@zsj1029

```
services:
vllm-qwen36-27b:
image: vllm/vllm-openai:v0.20.0
container_name: vllm-qwen36-27b
restart: "unless-stopped"
ports:
- "8085:8000"
volumes:
- models/huggingface/qwen3.6-27b-autoround-int4:/model
environment:
- CUDA_VISIBLE_DEVICES=0
- VLLM_WORKER_MULTIPROC_METHOD=spawn
- PYTORCH_CUDA_ALLOC_CONF=expandable_segments:True
shm_size: "16gb"
deploy:
resources:
reservations:
devices:
- driver: nvidia
count: all
capabilities: [gpu]
command:
- --model
- /model
- --served-model-name
- qwen3.6-27b
- --quantization
- auto-round
- --dtype
- float16
- --gpu-memory-utilization
- "0.92"
- --max-model-len
- "160000"
- --kv-cache-dtype
- fp8_e5m2
- --max-num-seqs
- "1"
- --trust-remote-code
- --reasoning-parser
- qwen3
- --enable-auto-tool-choice
- --tool-call-parser
- qwen3_xml
- --enable-prefix-caching
- --speculative-config
- '{"method":"mtp","num_speculative_tokens":2}'
- --host
- "0.0.0.0"
- --port
- "8000"
```
回复了 zsj1029 创建的主题 › qwen3.6 27b 本地编码测试4 月 28 日
5090 27B ,vllm 峰值 120 tok/s, 平均 85 tok/s 上下
回复了 voidGhost 创建的主题 › 有什么写入全局 AGENTS.md 文件的规则分享吗?3 月 27 日
如无必要,勿增实体
回复了 Nerv 创建的主题 › 用 Claude Skill 解决 sing-box 配置难题3 月 21 日
很不错,代理客户端的 skill ,你好像是第一个
回复了 Frank570 创建的主题 › 出租酒仙桥-恒通园区车位3 月 20 日
不写价格,也得写点别的信息啊
staging
回复了 wi11iamZ 创建的主题 › 外出时家宽回连方案讨论2025 年 10 月 14 日
wireguard 已被运营商搞残
支持!
© 2026 V2EX · 27ms · 3.9.8.5