linux、Anaconda常用骚操作

发布时间 2023-08-10 16:15:10作者: zz子木zz

-----------Win cmd--------------:
上传东西到linux
scp -r C:\Users\15658\Desktop\NVIDIA-Linux-x86_64-535.98.run pku@123.123.123.123:/home/pku/app
(如果scp后出现 Permission denied (publickey),说明没开启密码服务,则请看https://blog.csdn.net/Hexuefu_Bayonet/article/details/107028736)
(输入密码正确却让重试 Permission denied, please try again.,请看https://blog.csdn.net/Hexuefu_Bayonet/article/details/107028736)
(如果scp传输中断 lient_loop: send disconnect: Connection reset),说明网络不稳定,请换个网络
------------Ubuntu---------------:
ssh无法使用密码登录root账户(腾讯云、Ucloud创建的服务器的用户为ubuntu,初始密钥和密码都不是root的,要进行重置,然后进行下面网址里的操作)
https://blog.csdn.net/Hexuefu_Bayonet/article/details/107028736

软件安装
如果apt装东西失败,更新(apt-get update)一下再重试即可

软件上传和下载(linux端操作)
先 apt install lszrz
rz -be 上传到linux(-be是防止文件太大从而上传失败)------------ 不靠谱啊,不如scp
sz linux上文件 下载到win

linux服务
查看服务状态 service 服务名 status
重启服务状态 service 服务名 restart
查看所有服务的运行状态: service –status -all
sshd (ssh服务名)

查看显卡
sudo lspci |grep -i nvidia (直接用)
nvidia-smi ((必须安装好nvidia驱动才能用))
杀死进程释放显存或内存
kill -9 PID
创建虚拟环境
conda create --name chatglm_env python=3.10
conda create --name d2l-zh python=3.10
激活虚拟环境
conda activate chatglm_env
退出虚拟环境
conda deactivate
显示虚拟环境列表
conda info --env

anaconda安装与运行
参考:https://blog.wuzuxi.com/200.html
安装完anaconda(一路选yes)后,要重启一下linux,然后输入conda,就能进入base环境了
如果输入conda -V还是显示 command not found,就修改环境变量:https://blog.csdn.net/qq_31225201/article/details/119458258
然后再重新打开shell窗口就没问题了

安装完成后,每次进入终端会默认使用base环境,可以输入以下命令关闭默认进入base环境:
conda config --set auto_activate_base false

linux安装给 git lfs
查看 https://docs.github.com/zh/repositories/working-with-files/managing-large-files/installing-git-large-file-storage
和 https://github.com/git-lfs/git-lfs/blob/main/INSTALLING.md

sudo apt-get install git-lfs
再验证是否成功:
$ git lfs install
> Git LFS initialized

使用git clone 时出现 gnutls_handshake() failed: Error in the pull function:
方法1(有效) sudo apt-get install libssl-dev(最后重启服务什么都别选就行) https://blog.51cto.com/u_15127619/4524189
方法2 (没试过)关掉vpn


运行cli_demo时报错
类型1 没激活虚拟环境 解决方法:conda activate chatglm_env
类型2 没装显卡驱动 报错:runtimeError: Found no NVIDIA driver on your system.
查看显卡型号 sudo lspci |grep -i nvidia
下载装驱动需要的依赖(不然之后可能会报错)sudo apt install gcc g++ make
找显卡驱动并下载(两个网站都可以找)
https://www.nvidia.com/en-us/geforce/drivers/
https://www.nvidia.cn/Download/index.aspx?lang=cn
屏蔽nouveau开源版本的GPU驱动 sudo vim /etc/modprobe.d/blacklist-nouveau.conf
查看nouveau模块是否加载,不显示的话就表示已经禁用:
sudo lsmod | grep nouveau
如果没有禁用,则继续以下步骤。
首先,创建/etc/modprobe.d/blacklist-nouveau.conf文件,
sudo vim /etc/modprobe.d/blacklist-nouveau.conf
加入以下内容:
blacklist nouveau
blacklist lbm-nouveau
options nouveau modeset=0
alias nouveau off
alias lbm-nouveau off
创建/etc/modprobe.d/nouveau-kms.conf文件,将options nouveau mdeset=0添加进去:
echo options nouveau modeset=0 | sudo tee -a /etc/modprobe.d/nouveau-kms.conf
更新一下initramfs:
sudo update-initramfs -u
重启服务器
sudo reboot
查看nouveau模块是否加载,不显示的话就表示已经禁用成功:
sudo lsmod | grep nouveau
安装Nvidia驱动
先上传驱动文件(.run)到linux,然后cd进存放.run的目录
linux运行.run文件的方法: https://blog.csdn.net/po_int/article/details/49833967?utm_medium=distribute.pc_relevant.none-task-blog-2~default~baidujs_baidulandingword~default-4-49833967-blog-89840479.235^v38^pc_relevant_sort&spm=1001.2101.3001.4242.3&utm_relevant_index=7
chmod +x ./filename.run (给文件权限,变成可执行文件)
sudo ./filename.run
然后一路确定,等待安装成功
使用 nvidia-smi 查看GPU信息,能显示信息则驱动安装成功

卸载所有安装的nvidia驱动(但好像没用) sudo apt-get --purge remove nvidia-*
sudo /usr/bin/nvidia-uninstall
sudo ./NVIDIA-Linux-x86_64-450.80.02.run --uninstall

Win cmd上连接云服务器
ssh root@39.100.86.220
连接之后使用jupyter notebook --allow-root 无法在本地网页打开

云服务器jupyter notebook:
云服务器root用户下启动jupyter noteboot
jupyter notebook --allow-root
云服务器root用户下启动jupyter notebook并在本地电脑连接网页
jupyter notebook --allow-root -ip 0.0.0.0 (测试无效)
jupyter notebook --allow-root -ip 0.0.0.0 (测试无效)
jupyter notebook --allow-root -ip=0.0.0.0 (测试无效)
通过**端口映射**在本地电脑连接jupyter网页
ssh -L 8889:localhost:8889 root@39.100.86.220 (在Win cmd运行,测试有效)
ssh -L 8888:localhost:8888 pku@123.123.123.123

验证cuda是否安装成功
输入 nvcc -V
输出CUDA的版本信息,则成功