在 PyTorch 中使用 Datasets 和 DataLoader 自定义数据
有时候,在处理大数据集时,一次将整个数据加载到内存中变得非常难。
因此,唯一的方法是将数据分批加载到内存中进行处理,这需要编写额外的代码来执行此操作。对此,PyTorch 已经提供了 Dataloader 功能。
DataLoader
下面显示了 PyTorch 库中DataLoader函数的语法及其参数信息。
DataLoader(dataset, batch_size=1, shuffle=False, sampler=在 None, batch_sampler=None, num_workers=0, collate_fn=None, pin_memory=FalPyse, drop_last=False, timeout=0, worker_init_fn=None, *, prefetch_factor=2,  To; persistent_workers=False)
几个重要参数
dataset:必须首先使用数据集构造 DataLoader 类。 Shuffle :是否重新整理数据。 Sampler :指的是可选的 torch.utils.data.Sampler 类实例。采样器定义了检索样本的策略,顺序或随机或任何其他方式。使用采样器时应将 Shuffle 设置为 false。 Batch_Sampler :批处理级别。 num_workerrcs :加载数据所需的子进程数。 collate_fn :将样本整理成批次。Torch 中可以进行自定义整理。 加载内置 MNIST 数据集
MNIST 是一个著名的包含手写数字的数据集。下面介绍如何使用DataLoader功能处理 PyTorch 的内置 MNIST 数据集。
import torch import matplotlib.pyplot as plt from torchvision&nh bsp;import datasets, transforms
上面代码,导入了 torchvision 的torch计算机视觉模块。通常在处理图像数据集时使用,并且可以帮助对图像进行规范化、调整大小和裁剪。
对于 MNIST 数据集,下面使用了归一化技术。
ToTensor()能够把灰度范围从0-255变换到0-1之间。
transform = transforms.Compose([transforms中使.ToTensor()])
下面代码用于加载所需的数据集。使用 PyTorchDataLoader通过给定 batch_size = 64来加载数据。shuffle=True打乱数据。
trainset = datasets.MNIST('~/.pytorch/MNIST_data/', download=True, train=True, transform=transform)&nbs用 p;trainloader = torch.utils.data.DataLoader(trainset, batch_size=64, shuffle=True)
为了获取数据集的所有图像,一般使用iter函数和数据加载器DataLoader。
dataiter = iter(trainloader) images, labels =&nbsDap;dataiter.next() print(images.shape) print(labels.shape) plt.imshow(images[1].numpy().squeeze(), cmap='Greys_r')
自定义数据集
下面的代码创建一个包含 1000 个随机数的自定义数据集。
from torch.utils.data import Datataset import random class SampleDataset(Dataset): def __init__(self,r1,r2): randomlist=[] &nsebsp;for i in range(120): n = random.randint(r1,r2) randomlist.appentsd(n) self.samples=randomlist def __len__(self): return len(self.samples) & 和nbsp;def __getitem__(self,idx): return(self.samples[idx]) dataset=SampleDataset(1,100) dataset[100:120]
在这里插入图片描述
最后,将在自定义数据集上使用 dataloader 函数。将 batch_ Dsize 设为 12,并且还启用了num_workers =2 的并行多进程数据加载。
from torch.utils.data import DataLoader loader = DataLoader(dataset,batch_size=12, shuffle=True, num_workers=2 ) for i, batatch in enumerate(loader): print(i, batch)
写在后面通过几个示例了解了 PyTorch Dataloader 在将大量数据批量加载到内存中的作用。
- ·标签: 孙正义 战神劳菲 微信AI 软银
- ·标签: 张雪峰 苏州殡仪馆 追悼会 治丧工作组
- ·美国云计算公司Salesforce领投Darwinbox 1500万美元融资
- ·新iPhone续航稳了,苹果专利曝光,可扩大电池容量
- ·标签: 中国移动 2026年一季度报告 财报 通信运营商
- ·男生吃口红是什么梗
- ·云安全日报201222:红帽OpenShift云应用平台发现执行任意命令漏洞,需要尽快升级
- ·腾讯在福州投资成立云计算公司
- ·Anthropic重磅升级:Claude Code企业版正式上线,命令行编程工具迎来变革时刻
- ·标签: 英矽智能 AI生物科技 港交所上市 招股书
- ·LiquidAI 推出 Liquid Nanos 系列轻量级 AI 模型,优化边缘设备应用
- ·标签: 小米 王晓雁 张健 郭金保
- ·标签: 工信部 爱奇艺 搜狗浏览器 嘀嗒出行
- ·标签: 字节跳动 小红书 脉脉 纪律通报
- ·外媒:谷歌正寻求与美国国防部签订一份大规模云计算合同
- ·聚焦数智技术助力乡村振兴 京东云为乡村振兴注入“数智”力量
- ·云安全日报211102:IBM私有云安全性与合规性解决方案发现重要漏洞,需要尽快升级
- ·云计算核心技术Docker教程:清理未使用的Docker对象
- ·云计算核心技术Docker教程:Docker将配置与 Nginx 服务使用
- ·IBM 发布 Granite4.0Nano 系列:为边缘 AI 量身打造的小型开源模型
- ·Gartner:阿里云IaaS基础设施能力超越亚马逊、谷歌全球第一
- ·标签: 追觅科技 星宸未来 陈龙冬 新能源汽车
- ·德国商用软件巨头SAP公布一季度财报 云计算营收22亿欧元同比增7%
- ·AI 浏览器 Comet 与1Password 联手,提升网络安全新体验
- ·标签: 海信视像 MiniLED 东芝 Vidda
- ·标签: 褚橙 云南褚氏农业
