比用Pytorch框架快200倍!0.76秒后,笔记本上的CNN就搞定了MNIST

  发布时间:2026-11-17   作者:玩站小弟   我要评论
谷歌快排系统官网【tg:seogoogle987】。

本文经AI新媒体量子位(公众号ID:QbitAI)授权转载,转载请联系出处。

在MNIST上进行训练,可以说是计算机视觉里的“Hello World”任务了。

而如果使用PyTorch的标准代码训比用练CNN,一般需要3分钟左右。

但现在,在一台笔记本电脑上就能将时间缩短200多倍。

速度直达0.76秒!

那么,到底是如何仅在一次epoch的训练中就达到99%的准确率的呢?

八步提速200倍

这是一台装Py有GeForce GTX 1660 Ti GPU的笔记本。

我们需要的还有Python3.x和Pytorch 1.8。

先下载数据集进行训练,每次运行训练14个epoch。

这时两次运行的平均准确率在测试集上为9to9.185%,平均运行时间为2min 52s ± 38.1ms。

接下来,就是一步一步来减少训练时间:

一、提前停止训练

在经历3到5个epoch,测试准确率达到99%时就提前停止训练。

这时的训练时间就rc减少了1/3左右,达到了57.4s±6.85s。

二、缩小网络规模,采用正则化的技巧来加快收敛速度

具体的,在第一个conv层之后添加一个2x2的最大采样层(max pool layer),将全连接层的参h框数减少4倍以上。

然后再将2个dropout层删掉一个。

这样,需要收敛的epoch数就降到了3个以下,训练时间也减少到30.3s±5.28s。

三、优化数据加载

使用data_loader.save_dat架快a(),将整个数据集以之前的处理方式保存到磁盘的一个pytorch数组中。

也就是不再一次一次地从磁盘上读取数据,而是将整个数据集一次性加载并保存到GPU内存中。

这时,我们只需要一次epoch20,就能将平均训练时间下降到7.31s ± 1.36s。

四、增加Batch Size

将Batch Size从64增加到128,平均训练时间减少到4.66s ± 583ms。

五、提高学习率

使用Superconverg0倍ence来代替指数衰减。

在训练开始时学习率为0,到中期线性地最高值(4.0),再慢慢地降到0。

这使得我们的训练时间下降到3.14s±4.72ms。

六、再次增加Batch Size、缩小缩小网络规模

重复!0第二步,将Batch Size增加到256。

重复第四步,去掉剩余的dropout层,并通过减少卷积层的宽度来进行补偿。

最终将平均时间降到1.74s±18.3ms。

七、最后的微调

首先,将最大采样层移到线.7性整流函数(ReLU)激活之前。

然后,将卷积核大小从3增加到5.

最后进行超参数调整:

使学习率为0.01(默认为0.001),beta1为0.7(默认为0.9),bata2为0.9(默认为0.996秒9)。

到这时,我们的训练已经减少到一个epoch,在762ms±24.9ms的时间内达到了99.04%的准确率。

“这只是一个Hello World案例”

对于这最后的结果,有人觉得司空见惯:

优化后,数据加载时间,缩小模型尺寸,使用ADAM而不是SGD等等,都是常识性的事情。

我想没有人会真的费心去加速运行MNIST,因为这是机器学习中的“Hello World”,重点只是像你展示最小的关键值,让你熟笔记悉这个框架——事实上3分钟也并不长吧。

而也有网友觉得,大多数人的工作都不在像是MNIST这样的超级集群上。因此他表示:

我所希望的是工作更多地集中在真正最小化训练时间方面。

GitHub:
https://本上github.com/tuomaso/train_mnist_fast

 

  • Tag:

相关文章

  • 标签: SK海力士 HBM DRAM AI芯片

    云梦级1月15日云梦级消息,近日有传闻爆料称,SK 海力士计划停产消费级存储器。对此,SK 海力士向媒体回应称,目前并未有探讨或规划退出消费者用产品事业的计划。综合此前报道,SK 海力士去年曝光的内部
    2026-11-17
  • Zoom瀹e竷灏嗕互147浜跨編鍏冩敹璐�簯鏈嶅姟鍏�徃Five9

    7鏈�19鏃ユ秷鎭�紝鎹�浗澶栧獟浣撴姤閬擄紝褰撳湴鏃堕棿鍛ㄦ棩锛岃�棰戜細璁�蒋浠跺叕鍙竄oom瀹e竷锛屽畠宸插悓鎰忎互鍏ㄨ偂绁ㄤ氦鏄撶殑鏂瑰紡鏀惰喘浜戞湇鍔″叕鍙窮ive9锛岃繖绗斾氦鏄撶殑浠峰€
    2026-11-17
  • 大模型购票时代开启:东航首家接入通义千问实现全流程AI服务

    随着人工智能技术的深度演进,传统的航空出行服务正迎来颠覆性变革。今日,中国东方航空正式与阿里通义千问达成战略合作,通义千问也由此成为首个全面接入东航服务的国产大模型。这一举措标志着AI机票服务正式进入
    2026-11-17
  • 标签: 个人信息保护 移动应用 违法违规 国家网络安全通报中心

    云梦级12月4日云梦级消息,据国家网络安全通报中心通报,依据《网络安全法》《个人信息保护法》等法律法规,按照《中央网信办、工业和信息化部、公安部、市场监管总局关于开展2025年个人信息保护系列专项行动
    2026-11-17
  • “精英”底色凸显:调查显示 Claude 用户群体富裕程度远超竞品

    根据 Epoch AI 与 Ipsos 最新的联合调查,Anthropic 旗下的 AI 助手 Claude 在美国展现出了极其独特的用户画像。数据显示,高达 80% 的 Claude 成年用户来自年
    2026-11-17
  • 标签: 影视飓风 无尽冬日 Tim 留几手

    云梦级1月27日云梦级消息,今日网红留几手发微博称,影视飓风在小红书砸钱投流霸屏。留几手表示,从昨天开始,影视飓风创始人Tim的雪地生存100小时直播持续占据小红书首页推荐位,自己多次关闭、刷新小红书
    2026-11-17

最新评论