使用集群服务器的时侯,尤其是当服务器有多个节点时有些复杂,联接集群我们通常用xshell,传输文件我们通常使用Xftp,通常对于单个节点服务器来说是便捷的,使用Xftp还可以可视化本地和服务器端的文件,但当有多个节点时,这就不适用了,他不能选择节点,有局限,联接不了,Pycharm也联接不了集群。
对于深度学习,丹药我们最重要的丹,动辄十几个G,几十Glinux 下载指定文件夹,甚至几百G都不再话下,因而面对如此庞大的数据,我们如何管理传输呢,有些辛运好的,有官方集成的链接中文linux操作系统,我们可以用wget等命令来下载或则像pytorch等框架,内在集成了一些数据集可以有现成的命令,在模型中加载比较便捷,通常来说,我们的数据集很有可能是来自微软网盘,网站,或则须要向作者申请下载渠道,还有一些是自制的数据集,那些我们通常都是先下载至本地,假若本地自己的服务器容纳得下,配置够我们的模型运行是最便捷的,可视化调试也比较便捷,当你想跑一些大模型的时侯,我们的估算资源远远不够的时侯,我们须要托管更强悍的服务器,多卡GPU最好,这个时侯我们就面临传输文件的困局,须要网路稳定,服务器不猛然挂载,网速快,面对小型数据集的时侯就有些难受,要上传许久。虽然有时久也不是最头痛的问题,主要是断点,报错乱码,超级头晕。
例如用集群时,用rz命令上传文件,他会报错文件上传大小不能超过4G,麻了,这个时侯就要分批次上传,关键这个时侯网路不稳定,会报编码错误,使用rz-bey命令也不顶用,就当我一筹莫展的时侯,咨询师弟后,师弟和我说可以用阿里网盘上传,很快,也没有文件限制,给我发了一个教程链接:Linux环境下使用阿里网盘
真香,但刚开始看教程的时侯还是一头雾水linux 版本,经过三天摸索,总算搞定了,我的50G数据集也顺利上传成功,只花了下载结束,时间:1小时3分23秒,数据总数:49.89GB,真开心。经过试炼,成功经验我认为很有必要记录一下。
阿里网盘
官网:
默认新用户的网盘容量是100G
aliyunpan优点多平台支持,支持Windows,macOS,linux(x86/x64/arm),android,iOS等阿里网盘多用户支持支持文件云盘,相册云盘无缝切换下载云盘内文件,支持多个文件或目录下载,支持断点续传和单文件并行下载。支持软链接(符号链接)文件。上传本地文件,支持多个文件或目录上传,支持排除指定文件夹/文件(正则表达式)功能。支持软链接(符号链接)文件。同步备份功能支持备份本地文件到网盘,备份网盘文件到本地,单向同步备份保持本地文件和云盘文件同步。常用于嵌入式或则NAS等设备,支持docker镜像布署。命令和文件路径输入支持Tab键手动补全支持阿里云ECS环境下使用外网链接上传/下载,速率更快(只支持阿里精典网路,最高可达100MB/s),还可以节约网段带宽流量(配置transfer_url_type=2即可)支持webdav文件服务,可以将阿里网盘当作webdav文件云盘挂载到Windows,macOS,linux的c盘中进行使用。webdav布署支持docker镜像,镜像只有不到10MB十分精巧。支持JavaScript插件,你可以根据自己的须要订制上传/下载中关键步骤的行为,最大程度满足自己的个性化需求
在linux中下载aliyunpan官方版本说明
官方教程github:
●要下载与服务器系统适应的安装包,使用uname-a或则uname-r查看系统版本
安装包发布页:
版本说明:不同的标签对应不同构架的系统
arm/armv5/armv7:适用32位ARM系统arm64:适用64位ARM系统386/x86:适用32系统,包括Intel和AMD的CPU系统amd64/x64:适用64位系统,包括Intel和AMD的CPU系统mips:适用MIPS指令集的CPU,比如国产龙芯CPUmacOSamd64适用IntelCPU的机器,macOSarm64目前主要是适用苹果M1芯片的机器iOSarm64适用iPhone手机,而且必须是越狱的手机能够正常运行
下载安装
使用wget命令下载
示例:
#先进入想将安装包安装在哪里的目录下,然后执行以下命令进行下载
wget https://github.com/tickstep/aliyunpan/releases/download/v0.2.2/aliyunpan-v0.2.2-linux-amd64.zip
# download后面接的就是版本号,然后再接发布页的安装包名
unzip aliyunpan-v0.2.2-linux-amd64.zip #解压安装包
cd aliyunpan-v0.2.2-linux-amd64 #进入安装包
./aliyunpan #启动aliyunpan
login #登录账号
登陆
步入下载目录cddownload_path
./aliyunpan启动步入交互命令行
login
输入RefreshToken:打开阿里网盘网页并进行登陆,之后F12按钮打开浏览器调试菜单,在应用栏下的LocalStorage的token区
●或者直接在控制台输入以下命令获取
# 控制台输入
JSON.parse(localStorage.getItem("token")).refresh_token
输入RefreshToken字符串,即可登陆成功
config文件、下载路径配置设置config文件,上面会保存config的json文件和历史记录,可以指定程序配置文件的储存路径,假如没有指定linux 下载指定文件夹,程序会使用默认的目录。
export ALIYUNPAN_CONFIG_DIR=/home/tickstep/tools/aliyunpan/config #可以随意指定存放地址
可以在aliyunpan交互指令界面指定将从网盘下载的文件储存在那个目录下
config set -savedir save_path #save_path是你服务器想要将文件存放的地址路径
常用命令
命令汇总大全:
输入help
aliyunpan > help
...
阿里云盘:
album, abm 相簿(Beta)
cd 切换工作目录
download, d 下载文件/目录
ls, l, ll 列出目录
mkdir 创建目录
mv 移动文件/目录
pwd 输出工作目录
recycle 回收站
rename 重命名文件
rm 删除文件/目录
share 分享文件/目录
sync 同步备份功能
upload, u 上传文件/目录
webdav 在线网盘服务
...
查看网盘文件列表
aliyunpan:/ tickstep$ ls
# 文件大小 修改日期 文件(目录)
0 - 2021-11-03 13:32:22 临时/
1 - 2021-07-10 07:44:34 好友的分享/
2 - 2021-07-09 22:11:22 我的项目/
3 - 2021-07-09 22:10:37 我的游戏/
4 - 2021-07-09 22:10:10 我的文档/
5 349.86KB 2021-06-06 11:46:02 使用统计.xls
6 503.57KB 2021-06-06 11:46:02 IMG_0098.JPG
7 72.20KB 2021-06-06 11:46:02 IMG_0103.PNG
总: 3.20MB 文件总数: 3, 目录总数: 7
----
下载文件
下载支持两种链接类型:1-默认类型2-阿里ECS环境类型
在普通网路下,下载速率可以达到10MB/s,在阿里ECS(必须是"精典网路"类型的机器)环境下,下载速率单文件可以轻松达到20MB/s,多文件可以达到100MB/s
aliyunpan:/ tickstep$ download IMG_0106.JPG
[0] 当前文件下载最大并发量为: 5, 下载缓存为: 64.00KB
[1] 加入下载队列: /IMG_0106.JPG
[1] ----
文件ID: 60bc44f855814e19692a4958b4a8823a1a06e5de
文件名: IMG_0106.JPG
文件类型: 文件
文件路径: /IMG_0106.JPG
[1] 准备下载: /IMG_0106.JPG
[1] 将会下载到路径: /root/Downloads/4d001d48564f43b..62874f04bbe6/IMG_0106.JPG
[1] 下载开始
[1] ↓ 704.00KB/1.48MB 0B/s(1.69MB/s) in 1.88s, left - ............
[1] 下载完成, 保存位置: /root/Downloads/4d001d48564f43b..62874f04bbe6/IMG_0106.JPG
[1] 检验文件有效性成功: /root/Downloads/4d001d48564f43b..62874f04bbe6/IMG_0106.JPG
下载结束, 时间: 4秒, 数据总量: 1.48MB
aliyunpan:/ tickstep$
上传文件
上传支持两种链接类型:1-默认类型2-阿里ECS环境类型
在阿里ECS(必须是"精典网路"类型的机器)环境下,上传速率单文件可以轻松达到30MB/s,多文件可以达到100MB/s
aliyunpan:/ tickstep$ upload /Users/tickstep/Downloads/apt.zip /tmp
[0] 当前文件上传最大并发量为: 10, 上传分片大小为: 10.00MB
[1] 加入上传队列: /Users/tickstep/Downloads/apt.zip
[1] 2022-08-13 13:41:22 准备上传: /Users/tickstep/Downloads/apt.zip => /tmp/apt.zip
[1] 2022-08-13 13:41:22 正在检测和创建云盘文件夹: /tmp
[1] 2022-08-13 13:41:22 正在计算文件SHA1: /Users/tickstep/Downloads/apt.zip
[1] 2022-08-13 13:41:22 检测秒传中, 请稍候...
[1] 2022-08-13 13:41:22 秒传失败,开始正常上传文件
[1] ↑ 21.00MB/21.00MB 702.53KB/s(702.70KB/s) in 15s ............
[1] 2022-08-13 13:41:22 上传文件成功, 保存到网盘路径: /tmp/apt.zip
[1] 2022-08-13 13:41:22 文件上传结果: 成功! 耗时 18秒
上传结束, 时间: 18秒, 数据总量: 21.00MB
参考资料Linux环境下使用阿里网盘