动态计算图和GPU支持操作
动态计算图
在深度学习中使用 PyTorch 的主要原因之一,是我们可以自动获得定义的函数的梯度/导数。
当我们操作我们的输入时,会自动创建一个计算图。该图显示了如何从输入到输出的动态计算过程。
为了熟悉计算图的概念,下面将动态为以下函数创建一个:
这里的 是我们的参数,我们想要优化(最大化或最小化)输出 . 为此,我们想要获得梯度.
在下面的代码中,我将使用[1,2,3]作输入。
# 只有浮动张量有梯度 x 计算;= torch.arange(1,4, dtype=torch.float32, requires_grad=True) print("X", x)&nbs图和p; # X tensor([1., 2., 3.], requires_grad=True)
现在让我来一步一步地构建计算图,了解每个操作是到底是如何GP添加到计算图中的。
a = x + 2 b = a ** 2 c = b +U支 3 y = c.mean() print("Y", y) # Y tensor(19.6667, grad_fn持操=)
使用上面的语句,我们创建了一个类似于下图的计算图(通过tensorboard )查看:
我们计算 a 基于输入x 和常数2, b是 a平方等等操作。计算图通常以相反的方向可视化(箭头从结果指向输入)。
我们可以通过动态backward()在最后一个输出上调用函数来对计算图执行反向传播,这样可以,计算了每个具有属性的张量的梯度requires_grad=True:
y.backward()
最后打印x.grad就可以查看对应计算梯度。
GPU支持操作
在Pytorch中GPU 可以并行执行数以千计的小运算,因此非常适合在神经网络中执行大型矩阵运算。
「CPU 与 GPU的区别」
PyTorch 使用GPU,需要搭建NVIDIA 的CUDA和cuDNN。
下图和面代码,检查是否有可用的 GPU:
gpu_avail = torch.cuda.is_available() print("Is the GPU availableGP? %s" % str(gpu_avail))
现在创建一个张量并将其推送到GPU设备:
device = torch.device("cudaU支") if torch.cuda.is_available() else torch.device("cpu") print("Device", device)&持操nbsp;x = x.to(device) print("X", x) # Device cuda # X&nbs动态p;tensor([1., 1., 1.], device='cuda:0')
cuda 旁边的零表示这是计算机上的第0个 GPU 设备。因此,PyTorch 还支持多 GPU 系统,
下面将计算CPU 上的大型矩阵乘法的运行时间与 GPU 上的运算进行比较:
根据系统中的配置而定,GPU加速提高模型的训练速度。
- ·消息称阿里云首次出手具身智能,自变量机器人完成近 10 亿元新融资
- ·科大讯飞AI翻译耳机全球首发,实时沟通无障碍!
- ·MuleRun金融Agent全新上线,开启智能投资新时代
- ·京东云携手爱诗科技助力商家双十一营销:1元就能生成5秒促销视频
- ·标签: 长鑫科技 朱一明 DRAM 兆易创新
- ·微软前董事长:CEO纳德拉赢得了成为董事长的权利
- ·标签: 联想 AI PC 天禧超级智能体 混合式AI
- ·标签: 诺基亚 股票退市 泛欧巴黎 纳斯达克
- ·Tinker Diffusion发布:从单一视角到3D编辑,AI重塑多视角一致性!
- ·英国要求谷歌更严格地审查网上金融促销活动
- ·标签: 安踏 FILA DESCENTE KOLONSPORT
- ·鑳戒笌 GPT-3 鐩稿�缇庯紵EleutherAI 寮€婧� GPT-J
- ·2021年中国医疗人工智能产业全景图谱
- ·云计算核心技术Docker教程:Docker使用Fluentd 日志驱动程序
- ·人工智能网络安全威胁图谱
- ·标签: 小鹏汽车 陈永海 王凤英 高德地图
- ·谷歌和Facebook同意进行合作 以应对反垄断指控
- ·阿里云高层回应“与特斯拉合作”:其正和本土企业普遍接触
- ·一文带你了解机器人是如何通过视觉实现目标跟踪的
- ·微软2021财年第三财季营收417亿美元 商业云业务营收177亿美元
- ·浜戣�绠楁牳蹇冩妧鏈疍ocker鏁欑▼锛欴ocker浣跨敤syslog鏃ュ織椹卞姩绋嬪簭
- ·如何设计可视化搭建平台的组件商店?
- ·英伟达市值突破 4.5 万亿美元,AI 基础设施交易频频达成
- ·浜戣�绠楀紑鍙戯細Python鍐呯疆鍑芥暟-range() 鍑芥暟璇﹁В
- ·AI 时代来临,Perplexity CEO 称 iPhone 重要性将进一步增强
- ·标签: 宏碁 Acer 2025财报 非电脑业务
