动态计算图和GPU支持操作
动态计算图
在深度学习中使用 PyTorch 的主要原因之一,是我们可以自动获得定义的函数的梯度/导数。
当我们操作我们的输入时,会自动创建一个计算图。该图显示了如何从输入到输出的动态计算过程。
为了熟悉计算图的概念,下面将动态为以下函数创建一个:
这里的 是我们的参数,我们想要优化(最大化或最小化)输出 . 为此,我们想要获得梯度.
在下面的代码中,我将使用[1,2,3]作输入。
# 只有浮动张量有梯度 x =&nb计算sp;torch.arange(1,4, dtype=torch.float32, requires_grad=True) print("X", x) &n图和bsp;# X tensor([1., 2., 3.], requires_grad=True)
现在让我来一步一步地构建计算图,了解每个操作是到底是如何GP添加到计算图中的。
a = x + 2 b = a ** 2 c = b +&U支nbsp;3 y = c.mean() print("Y", y) # Y tensor(19.6667, grad_fn=持操)
使用上面的语句,我们创建了一个类似于下图的计算图(通过tensorboard )查看:
我们计算 a 基于输入x 和常数2, b是 a平方等等操作。计算图通常以相反的方向可视化(箭头从结果指向输入)。
我们可以通过backw动态ard()在最后一个输出上调用函数来对计算图执行反向传播,这样可以,计算了每个具有属性的张量的梯度requires_grad=True:
y.backward()
最后打印x.grad就可以查看对应梯度。
&计算nbsp;
GPU支持操作
在Pytorch中GPU 可以并行执行数以千计的小运算,因此非常适合在神经网络中执行大型矩阵运算。
「CPU 与 GPU的区别」
PyTorch 使用GPU,需要搭建NVIDIA 的CUDA和cuDNN。
下面代码图和,检查是否有可用的 GPU:
gpu_avail = torch.cuda.is_available() print("Is the GPU available?&GPnbsp;%s" % str(gpu_avail))
现在创建一个张量并将其推送到GPU设备:
device = torch.device("cuda")&nbU支sp;if torch.cuda.is_available() else torch.device("cpu") print("Device", device) 持操;x = x.to(device) print("X", x) # Device cuda # X tensor动态([1., 1., 1.], device='cuda:0')
cuda 旁边的零表示这是计算机上的第0个 GPU 设备。因此,PyTorch 还支持多 GPU 系统,
下面将CPU 上的大型矩阵乘法计算的运行时间与 GPU 上的运算进行比较:
根据系统中的配置而定,GPU加速提高模型的训练速度。
相关文章

Hailuo2.3AI视频生成模型上线Replicate平台,带来逼真物理与电影级特效
中国AI初创公司MiniMax旗下最新视频生成模型Hailuo2.3现已在Replicate平台正式上线,这一升级版工具以其高度逼真的物理模拟和流畅动作捕捉能力,迅速引发AI内容创作领域的关注。 该模2026-11-17
“你追了我八条街,我都给你说了,我不是你爹”这句话是什么梗?可能是游戏里的内容吧,这样的差不多内容也是有很多,一般都是在游戏里的,很多这样的情况可能是游戏里的内容吧,这样的差不多内容也是有很多,一般都2026-11-17
云安全日报220224:IBM混合云数据库发现执行任意代码漏洞,需要尽快升级
DataStax Enterprise with IBM是IBM公司一个强大的横向扩展数据基础架构(可扩展的数据库),基于 Apache Cassandra 构建,专为混合云而设计。DataStax2026-11-17
本文经AI新媒体量子位(公众号ID:QbitAI)授权转载,转载请联系出处。 面向AI时代生存发展,什么最重要? 数据、数据,还是数据。 特别是中小企业、转型中的广大传统企业,数据、优质数据,寻找并管2026-11-17
腾讯投资的“美版贴吧”Reddit已在纽交所上市 收盘价较发行价上涨48%
3月22日消息,据外媒报道,有“美版贴吧”之称的Reddit,已于当地时间周四正式在纽交所上市,上市当天的股价较发行价大幅上涨。 从纽交所官网的信息来看,Reddit上市当天开盘报47美元,较34美元2026-11-17
基于云的SaaS是企业以订阅方式提供软件解决方案的一种相对较新的方法,它已成为近来比较流行的行业趋势之一。根据调研机构的调查,大约85%的中小企业已经投资SaaS, 2020年全球达到1050亿美元的2026-11-17

最新评论