Linux深度学习环境搭建：14年运维的排障实录

　　去年二月份那会儿，我原以为搭个Linux深度学习环境能跟以前装LAMP栈似的，结果被现实按在地上摩擦了整整三天——别笑，十四年运维老兵也有翻车的时候。那天下午三点，测试组小王突然在群里甩了张截图，CUDA驱动报错“NVIDIA-SMI has failed because it couldn't communicate with the NVIDIA driver”，后面跟着一串红字，我盯着屏幕看了两秒，第一反应是“这特么不是去年刚教过你怎么查日志吗？”

文章配图，仅供参考

　　连上服务器那一刻我就懵了：/dev/nvidia0设备文件是存在的，nvidia-smi命令却报错，这情况我十几年前在CentOS 5上见过，但那时候的驱动版本是340.xx，现在这机器装的是535.xx，按理说不该有这种低级问题。我让小王先别动，自己翻出笔记本开始查——先确认内核版本，5.4.0-135-generic，没问题；再查dkms状态，显示nvidia模块已加载；最后用lsmod一看，好家伙，nouveau驱动还在跑！这货是NVIDIA的开源替代，跟官方驱动天生不对付，我之前明明在grub里加了“nomodeset”和“rd.driver.blacklist=nouveau”，怎么还能加载？

　　小王在旁边打电话，声音忽大忽小：“张总，那个推荐位的数据...对，我让运维查过了...”我冲他比了个“嘘”的手势，继续敲命令：先blacklist nouveau，再重建initramfs，最后重启。结果重启后问题更离谱——Xorg直接崩了，显示器黑屏，只能通过SSH连进去。这时候测试组主管老李凑过来：“要不直接重装系统？我上次装Ubuntu 22.04也遇到类似问题，重装后就好了。”我白了他一眼：“重装系统是最后手段，你当这是Windows啊？”

　　其实我心里也没底。十四年运维，我见过太多“按教程操作却翻车”的案例——比如去年某个项目，明明照着官方文档装TensorFlow，结果因为Python版本差了0.1就报错；再比如前年装PyTorch，因为gcc版本太高导致编译失败。这些坑，文档里可不会写。就像现在，我盯着屏幕上的“Failed to start Load Kernel Modules”，突然想起之前在某个论坛看过类似问题：可能是initramfs里没包含nvidia模块。于是又折腾了半小时，手动更新initramfs，指定模块列表，重启——这次终于看到nvidia-smi输出显卡信息了，但CUDA版本又不对，显示的是11.4，我们项目需要的是12.0。

　　小王在旁边嘀咕：“要不降级项目要求？”我差点把键盘砸了：“降级？你知道降级意味着要改多少代码吗？测试组得重新跑多少用例？”他缩了缩脖子，不说话了。我继续查，发现是apt安装CUDA时自动选了推荐版本，而项目依赖的是特定版本。于是手动下载CUDA 12.0的runfile，用--override参数强制安装，过程中又报错“Existing package manager installation of the driver found”，得先卸载之前的驱动，再禁用nouveau，再安装...整个过程像在玩俄罗斯套娃，每解决一个问题，又冒出三个新问题。

　　第三天下午，我终于把环境跑起来了。小王试了试训练脚本，输出正常，我长舒一口气，正要关电脑，突然发现群里在讨论考勤——原来今天有人迟到被拍了，行政在群里发截图，配文“下次注意”。我扫了一眼，没当回事，继续整理排障步骤：从nouveau冲突到initramfs更新，从CUDA版本选择到驱动卸载，每一步都写了详细命令和注意事项。结果刚写完，SEO那边的人突然私聊我：“你这篇深度学习排障的文章，关键词密度够吗？要不要加点‘最佳实践’‘一站式解决方案’之类的词？”我盯着屏幕看了三秒，回他：“这是排障实录，不是软文。”

　　后来我把文档发给小王，他看了半天，回我：“哥，这步骤太复杂了，能不能简化？”我冷笑：“简化？你知不知道我查了多少资料？翻了多少论坛？踩了多少坑？这些步骤里随便漏一个，环境就起不来。”他不说话了。其实我也知道，运维这行，优胜劣汰就是这么残酷——你能解决的问题越多，别人就越依赖你；但问题越多，你踩的坑也越多，有时候甚至会怀疑自己是不是老了，跟不上新技术了。

　　就像这次，我原以为十四年经验能让我轻松搞定，结果还是被折腾得够呛。但说白了，这就是运维的常态——没有一劳永逸的解决方案，只有不断踩坑、排障、总结的过程。明天还得把这篇文档发出去，说不定能帮到某个同样被CUDA折磨的同行——虽然SEO那边可能又会嫌关键词不够，但管他呢，排障实录，本来就不是写给他们看的。

（编辑：站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!