运维老手血泪总结:5个AI服务器部署深坑
|
我原以为装完CUDA就完事了,结果半夜三点监控告警响的时候,老张正蹲在机房门口啃包子——他刚把热插拔的NVMe盘拔错槽位,AI推理服务直接挂了俩小时,listing小类排名掉到47,动销停了。 风扇把快递单吹到地上,我弯腰捡那会儿,老板微信弹出一句“今天能不能跑通那个多模态流水线”,我没回。饮水机在咕嘟响,像在倒计时。 第一个坑:显卡混插。去年我们上了A10和V100混跑,都是PCIe 3.0,但驱动一升,V100的ECC突然关不掉,训练中途kernel panic。老张说“显存满就满呗”,结果OOM killer把数据预处理进程干了,batch全丢。我查日志查到凌晨四点,发现是NVLink拓扑没对齐——A10根本没连NVLink,它假装自己连了。后来换纯A10集群,动销恢复得比退货率下降还快。优胜劣汰?真不是虚的。显卡认主,不认你工单写得多真诚。 鼠标垫卷边了,我把它按平三次,第三次它又翘起来。有人在旁边点外卖,报手机号报到一半,突然喊:“哎你GPU温度咋89度了?”我抬头一看,散热墙那台机器的风道被一箱未拆封的网线盒挡了三分之二。没人知道那箱网线是谁放的,但监控截图里,影子是老张的。他上个月说“服务器要呼吸”,下个月就把通风口封死。 第二个坑:模型权重加载路径权限搞反。dev用root跑没问题,prod切到非root用户,chown漏了.safetensors的parent dir里一个隐藏的.cache目录。部署脚本跑通,load_model()报错却只打印“OSError: unable to open file”,连具体文件名都不给你。查了三轮,最后是实习生用strace硬扒出来的——他没看文档,纯靠猜。我们仨对着log盯到天亮,窗外环卫车碾过减速带的声音特别清楚。结果?线上服务灰度了两天,FBA仓里等模型打标的新品积压三百单,断货预警红得发烫。我说“先切回旧版”,老板说“再试最后一次”,老张叼着烟说“这报错肯定不是权限”。我信了他,亏了七千块云成本——不多,但够买两台二手A10了。 第三个坑:Docker镜像里的conda环境。不是版本问题,是base image里glibc版本和torch编译时不匹配。dev用ubuntu:22.04,prod部署用的竟然是registry里的某个第三方cuda11.8基础镜像,它底层是debian11,glibc 2.31。模型能load,forward跑十次有八次core dump,traceback深到看不见调用栈顶端。我们翻了三天issue,最后在PyTorch论坛第47页看到个同样遭遇的人贴了ldd输出。我原以为是nccl通信层的问题,结果是glibc里memcpy的一个微小patch导致torch tensor的内存重叠判定失效。删掉所有conda相关,全用pip install torch==2.1.0+cu118 --extra-index-url https://download.pytorch.org/whl/cu118 就完事。没人记得是谁加的conda,就像没人记得仓库卷帘门为什么总卡在半开状态,每次拉都得跺一脚。 打包台上横着的一卷胶带,蓝底白字写着“特快专递”,但其实贴的是AI模型服务健康检查脚本的物理备份U盘。老张把它当普通U盘插进测试机,格式化了一半才发现不对劲,赶紧拔,结果fsync没完成,U盘里两个核心checkpoint全变0字节。他没声张,拿另一份旧备份顶了三天。这事儿我半个月后才从实习生嘴里听说,那实习生正用这个U盘拷贝离职交接的prometheus告警规则。 第四个坑:Prometheus metrics label乱码。不是编码问题,是Python logger里加了中文字段,stdout重定向进sidecar容器后,label值里中文变成\\udce6\\udc9b这种,Prometheus抓取直接drop整条指标。grafana看CPU曲线全是断点,我以为是节点失联,重启kubelet五次,最后一行日志里看见“label=‘分类任务-推理耗时’”——那个破折号是中文全角。改掉,重跑CI,label回来了。但我当时骂了三分钟k8s operator,其实该骂的是自己——当初code review时看到logger.info(‘%s-%s’, task, stage)没问那个task字符串哪来的。 第五个坑:SSH密钥轮转没同步到JumpServer。运维同学按流程换了key,没通知SRE,而JumpServer用的还是旧pubkey。结果AI训练集群的Ansible playbook执行失败,不是因为密码错,是因为连接超时。等我们发现是SSH层面拦住的,已经过去十八个小时。中间有同事手抖点了重试按钮二十一次,每次都在同一处卡住。现在想想,这哪是技术坑,这是人和人之间信任没对齐。优胜劣汰?活下来的未必是代码最牛的,是最后一个还愿意在凌晨两点核对公钥指纹的。
文章配图,仅供参考 平台规则越来越狠,动不动就删API access token。上周有个客户跑着模型自动调价,token被静默回收,价格停更四小时,ACOS直接爆表。这事跟咱们AI部署没半毛钱关系,但后台跳变那一刻,所有人的第一反应都是——查模型服务。谁还记得token有效期只有九十天?我现在把所有部署脚本的开头都加上 date >> /var/log/deploy_history.log;不管有没有人看。至少将来有人问“啥时候挂的”,我能指着日志说“5月11号下午三点零七分十七秒,风扇响得特别急”。至于那卷胶带——我留着,下次培训新人,就让他们先去仓库把卷帘门修好。 (编辑:航空爱好网) 【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容! |


媒体网站无障碍设计:9个运维老手最易忽略的适配点
SQL Server运维踩坑指南:17年实战排障手册
鸿蒙开发者必修:MySQL运维设计实战
MySQL运维设计五大经典陷阱避坑指南
SQL Server DBA必备:缓存工程师亲授数据库运维实战手册
MySQL运维设计实战:36小时稳如磐石
云端部署深度学习模型实战:网络延迟降67%