电脑知识|欧美黑人一区二区三区|软件|欧美黑人一级爽快片淫片高清|系统|欧美黑人狂野猛交老妇|数据库|服务器|编程开发|网络运营|知识问答|技术教程文章 - 好吧啦网

您的位置:首頁技術文章
文章詳情頁

使用Pytorch搭建模型的步驟

瀏覽:32日期:2022-07-05 13:42:32

本來是只用Tenorflow的,但是因為TF有些Numpy特性并不支持,比如對數組使用列表進行切片,所以只能轉戰Pytorch了(pytorch是支持的)。還好Pytorch比較容易上手,幾乎完美復制了Numpy的特性(但還有一些特性不支持),怪不得熱度上升得這么快。

1 模型定義

和TF很像,Pytorch也通過繼承父類來搭建自定義模型,同樣也是實現兩個方法。在TF中是__init__()和call(),在Pytorch中則是__init__()和forward()。功能類似,都分別是初始化模型內部結構和進行推理。其它功能比如計算loss和訓練函數,你也可以繼承在里面,當然這是可選的。下面搭建一個判別MNIST手寫字的Demo,首先給出模型代碼:

import numpy as npimport matplotlib.pyplot as plt import torch from torch import nn,optim from torchsummary import summary from keras.datasets import mnistfrom keras.utils import to_categoricaldevice = torch.device(’cuda’) #——————1—————— class ModelTest(nn.Module): def __init__(self,device): super().__init__() self.layer1 = nn.Sequential(nn.Flatten(),nn.Linear(28*28,512),nn.ReLU())#——————2—————— self.layer2 = nn.Sequential(nn.Linear(512,512),nn.ReLU()) self.layer3 = nn.Sequential(nn.Linear(512,512),nn.ReLU()) self.layer4 = nn.Sequential(nn.Linear(512,10),nn.Softmax()) self.to(device) #——————3—————— self.opt = optim.SGD(self.parameters(),lr=0.01)#——————4—————— def forward(self,inputs): #——————5—————— x = self.layer1(inputs) x = self.layer2(x) x = self.layer3(x) x = self.layer4(x) return x def get_loss(self,true_labels,predicts): loss = -true_labels * torch.log(predicts) #——————6—————— loss = torch.mean(loss) return loss def train(self,imgs,labels): predicts = model(imgs) loss = self.get_loss(labels,predicts) self.opt.zero_grad()#——————7—————— loss.backward()#——————8—————— self.opt.step()#——————9——————model = ModelTest(device)summary(model,(1,28,28),3,device=’cuda’) #——————10——————

#1:獲取設備,以方便后面的模型與變量進行內存遷移,設備名只有兩種:’cuda’和’cpu’。通常是在你有GPU的情況下需要這樣顯式進行設備的設置,從而在需要時,你可以將變量從主存遷移到顯存中。如果沒有GPU,不獲取也沒事,pytorch會默認將參數都保存在主存中。

#2:模型中層的定義,可以使用Sequential將想要統一管理的層集中表示為一層。

#3:在初始化中將模型參數遷移到GPU顯存中,加速運算,當然你也可以在需要時在外部執行model.to(device)進行遷移。

#4:定義模型的優化器,和TF不同,pytorch需要在定義時就將需要梯度下降的參數傳入,也就是其中的self.parameters(),表示當前模型的所有參數。實際上你不用擔心定義優化器和模型參數的順序問題,因為self.parameters()的輸出并不是模型參數的實例,而是整個模型參數對象的指針,所以即使你在定義優化器之后又定義了一個層,它依然能優化到。當然優化器你也可以在外部定義,傳入model.parameters()即可。這里定義了一個隨機梯度下降。

#5:模型的前向傳播,和TF的call()類似,定義好model()所執行的就是這個函數。

#6:我將獲取loss的函數集成在了模型中,這里計算的是真實標簽和預測標簽之間的交叉熵。

#7/8/9:在TF中,參數梯度是保存在梯度帶中的,而在pytorch中,參數梯度是各自集成在對應的參數中的,可以使用tensor.grad來查看。每次對loss執行backward(),pytorch都會將參與loss計算的所有可訓練參數關于loss的梯度疊加進去(直接相加)。所以如果我們沒有疊加梯度的意愿的話,那就要在backward()之前先把之前的梯度刪除。又因為我們前面已經把待訓練的參數都傳入了優化器,所以,對優化器使用zero_grad(),就能把所有待訓練參數中已存在的梯度都清零。那么梯度疊加什么時候用到呢?比如批量梯度下降,當內存不夠直接計算整個批量的梯度時,我們只能將批量分成一部分一部分來計算,每算一個部分得到loss就backward()一次,從而得到整個批量的梯度。梯度計算好后,再執行優化器的step(),優化器根據可訓練參數的梯度對其執行一步優化。

#10:使用torchsummary函數顯示模型結構。奇怪為什么不把這個繼承在torch里面,要重新安裝一個torchsummary庫。

2 訓練及可視化

接下來使用模型進行訓練,因為pytorch自帶的MNIST數據集并不好用,所以我使用的是Keras自帶的,定義了一個獲取數據的生成器。下面是完整的訓練及繪圖代碼(50次迭代記錄一次準確率):

import numpy as npimport matplotlib.pyplot as plt import torch from torch import nn,optim from torchsummary import summary from keras.datasets import mnistfrom keras.utils import to_categoricaldevice = torch.device(’cuda’) #——————1—————— class ModelTest(nn.Module): def __init__(self,device): super().__init__() self.layer1 = nn.Sequential(nn.Flatten(),nn.Linear(28*28,512),nn.ReLU())#——————2—————— self.layer2 = nn.Sequential(nn.Linear(512,512),nn.ReLU()) self.layer3 = nn.Sequential(nn.Linear(512,512),nn.ReLU()) self.layer4 = nn.Sequential(nn.Linear(512,10),nn.Softmax()) self.to(device) #——————3—————— self.opt = optim.SGD(self.parameters(),lr=0.01)#——————4—————— def forward(self,inputs): #——————5—————— x = self.layer1(inputs) x = self.layer2(x) x = self.layer3(x) x = self.layer4(x) return x def get_loss(self,true_labels,predicts): loss = -true_labels * torch.log(predicts) #——————6—————— loss = torch.mean(loss) return loss def train(self,imgs,labels): predicts = model(imgs) loss = self.get_loss(labels,predicts) self.opt.zero_grad()#——————7—————— loss.backward()#——————8—————— self.opt.step()#——————9——————def get_data(device,is_train = True, batch = 1024, num = 10000): train_data,test_data = mnist.load_data() if is_train: imgs,labels = train_data else: imgs,labels = test_data imgs = (imgs/255*2-1)[:,np.newaxis,...] labels = to_categorical(labels,10) imgs = torch.tensor(imgs,dtype=torch.float32).to(device) labels = torch.tensor(labels,dtype=torch.float32).to(device) i = 0 while(True): i += batch if i > num: i = batch yield imgs[i-batch:i],labels[i-batch:i] train_dg = get_data(device, True,batch=4096,num=60000) test_dg = get_data(device, False,batch=5000,num=10000) model = ModelTest(device) summary(model,(1,28,28),11,device=’cuda’) ACCs = []import timestart = time.time()for j in range(20000): #訓練 imgs,labels = next(train_dg) model.train(imgs,labels) #驗證 img,label = next(test_dg) predicts = model(img) acc = 1 - torch.count_nonzero(torch.argmax(predicts,axis=1) - torch.argmax(label,axis=1))/label.shape[0] if j % 50 == 0: t = time.time() - start start = time.time() ACCs.append(acc.cpu().numpy()) print(j,t,’ACC: ’,acc)#繪圖x = np.linspace(0,len(ACCs),len(ACCs))plt.plot(x,ACCs)

準確率變化圖如下:

使用Pytorch搭建模型的步驟

3 其它使用技巧

3.1 tensor與array

需要注意的是,pytorch的tensor基于numpy的array,它們是共享內存的。也就是說,如果你把tensor直接插入一個列表,當你修改這個tensor時,列表中的這個tensor也會被修改;更容易被忽略的是,即使你用tensor.detach.numpy(),先將tensor轉換為array類型,再插入列表,當你修改原本的tensor時,列表中的這個array也依然會被修改。所以如果我們只是想保存tensor的值而不是整個對象,就要使用np.array(tensor)將tensor的值復制出來。

3.2 自定義層

在TF中,自定義模型通常繼承keras的Model,而自定義層則是繼承layers.Layer,繼承不同的父類通常會造成初學者的困擾。而在pytorch中,自定義層與自定義模型一樣,都是繼承nn.Module。Pytorch將層與模型都看成了模塊,這很容易理解。的確,層與模型之間本來也沒有什么明確的界限。并且定義方式與上面定義模型的方式一樣,也是實現兩個函數即可。代碼示例如下:

import torch from torch import nn class ParaDeconv(nn.Module):#——————1—————— def __init__(self,in_n,out_n): super().__init__() self.w = nn.Parameter(torch.normal(0,0.01,size = [in_n,out_n]),requires_grad=True) self.b = nn.Parameter(torch.normal(0,0.01,size = [out_n]),requires_grad=True) def forward(self,inputs): x = torch.matmul(inputs,self.w) x = x + self.b return x layer = ParaDeconv(2,3)y = layer(torch.ones(100,2))#——————2——————loss = torch.sum(y)#——————3——————loss.backward()#——————4——————for i in layer.parameters():#——————5—————— print(i.grad)#——————6——————

#1:自定義一個全連接層。層中可訓練參數的定義是使用nn.Parameter,如果直接使用torch.tensor是無法在#5中遍歷到的。

#2/3/4:輸入并計算loss,然后反向傳播計算參數梯度。

#5/6:輸出完成反向傳播后層參數的梯度。

以上定義的層可以和pytorch自帶的層一樣直接插入模型中使用。

3.3 保存/加載

3.3.1 保存/加載模型

有兩種方式,一種是保存模型的參數:

torch.save(model.state_dict(), PATH) #保存 model.load_state_dict(torch.load(PATH),strict=True) #加載

這種加載方式需要先定義模型,然后再加載參數。如果你定義的模型參數名與保存的參數對不上,就會出錯。但如果把strict修改成False,不嚴格匹配,它就會只匹配對應上的鍵值,不會因多出或缺少的參數而報錯。

另一種是直接保存模型:

torch.save(model, PATH) #保存model = torch.load(PATH) #加載

這種方式看似方便,實際上更容易出錯。因為python不能保存整個模型的類,所以它只能保存定義類的代碼文件位置,以在加載時獲取類的結構。如果你改變了定義類的代碼位置,就有可能因為找不到類而出錯。

3.3.2 保存訓練點當你要保存某個訓練階段的狀態,比如包含優化器參數、模型參數、訓練迭代次數等,可以進行如下操作:

#保存訓練點torch.save({ ’epoch’: epoch, ’model_state_dict’: model.state_dict(), ’optimizer_state_dict’: optimizer.state_dict(), ’loss’: loss }, PATH)#加載訓練點model = TheModelClass(*args, **kwargs)optimizer = TheOptimizerClass(*args, **kwargs)checkpoint = torch.load(PATH)model.load_state_dict(checkpoint[’model_state_dict’])optimizer.load_state_dict(checkpoint[’optimizer_state_dict’])epoch = checkpoint[’epoch’]loss = checkpoint[’loss’]

和保存模型一樣,也是使用torch.save()。它很靈活,可以保存字典,因此讀取的時候也按照字典索引讀取即可。當然要注意,并不是任何類型都能保存的,這里保存的四個類型分別是:

1. int

2. collections.OrderedDict

3. collections.OrderedDict

4. list

3.4 修改模型參數

Pytorch沒有提供額外的方式讓我們修改模型參數,我們可以使用上面加載模型參數的方式來修改參數。對于某個參數,我們只要把鍵值和對應要修改的值放在字典中傳入load_state_dict即可。如果沒傳入所有的參數,記得把strict設為False。示例如下:

model.load_state_dict({’weight’:torch.tensor([0.])},strict=False) #修改模型參數

參數名,也就是鍵值,和對應的參數shape可以通過model.state_dict()查看。

以上就是使用Pytorch搭建模型的步驟的詳細內容,更多關于Pytorch搭建模型的資料請關注好吧啦網其它相關文章!

標簽: Pytorch
相關文章:
主站蜘蛛池模板: 大数据营销公司_舆情监测软件_上海SEO公司-文军营销官网 | 苏州注册公司_苏州代理记账_苏州工商注册_苏州代办公司-恒佳财税 | 安徽合肥格力空调专卖店_格力中央空调_格力空调总经销公司代理-皖格制冷设备 | 高压无油空压机_无油水润滑空压机_水润滑无油螺杆空压机_无油空压机厂家-科普柯超滤(广东)节能科技有限公司 | 优宝-汽车润滑脂-轴承润滑脂-高温齿轮润滑油脂厂家 | 设定时间记录电子秤-自动累计储存电子秤-昆山巨天仪器设备有限公司 | 无纺布包装机|径向缠绕包装机|缠绕膜打包机-上海晏陵智能设备有限公司 | TwistDx恒温扩增-RAA等温-Jackson抗体-默瑞(上海)生物科技有限公司 | 高光谱相机-近红外高光谱相机厂家-高光谱成像仪-SINESPEC 赛斯拜克 | 机器视觉检测系统-视觉检测系统-机器视觉系统-ccd检测系统-视觉控制器-视控一体机 -海克易邦 | 美国查特CHART MVE液氮罐_查特杜瓦瓶_制造全球品质液氮罐 | 烟台金蝶财务软件,烟台网站建设,烟台网络推广 | 12cr1mov无缝钢管切割-15crmog无缝钢管切割-40cr无缝钢管切割-42crmo无缝钢管切割-Q345B无缝钢管切割-45#无缝钢管切割 - 聊城宽达钢管有限公司 | 阴离子聚丙烯酰胺价格_PAM_高分子聚丙烯酰胺厂家-河南泰航净水材料有限公司 | 重庆监控_电子围栏设备安装公司_门禁停车场管理系统-劲浪科技公司 | 真空干燥烘箱_鼓风干燥箱 _高低温恒温恒湿试验箱_光照二氧化碳恒温培养箱-上海航佩仪器 | 储气罐,真空罐,缓冲罐,隔膜气压罐厂家批发价格,空压机储气罐规格型号-上海申容压力容器集团有限公司 | 首页-浙江橙树网络技术有限公司| 小程序开发公司-小程序制作-微信小程序开发-小程序定制-咏熠软件 | 恒温恒湿试验箱厂家-高低温试验箱维修价格_东莞环仪仪器_东莞环仪仪器 | 招商帮-一站式网络营销服务|互联网整合营销|网络推广代运营|信息流推广|招商帮企业招商好帮手|搜索营销推广|短视视频营销推广 | 电动不锈钢套筒阀-球面偏置气动钟阀-三通换向阀止回阀-永嘉鸿宇阀门有限公司 | 全自动固相萃取仪_高通量真空平行浓缩仪-勤业永为 | U拓留学雅思一站式服务中心_留学申请_雅思托福培训 | 四川实木门_成都实木门 - 蓬溪聚成门业有限公司 | 洁净棚-洁净工作棚-无菌室-净化工程公司_北京卫护科技有限公司 | 上海单片机培训|重庆曙海培训分支机构—CortexM3+uC/OS培训班,北京linux培训,Windows驱动开发培训|上海IC版图设计,西安linux培训,北京汽车电子EMC培训,ARM培训,MTK培训,Android培训 | 广西正涛环保工程有限公司【官网】 | BESWICK球阀,BESWICK接头,BURKERT膜片阀,美国SEL继电器-东莞市广联自动化科技有限公司 | 干粉砂浆设备-干粉砂浆生产线-干混-石膏-保温砂浆设备生产线-腻子粉设备厂家-国恒机械 | Trimos测长机_测高仪_TESA_mahr,WYLER水平仪,PWB对刀仪-德瑞华测量技术(苏州)有限公司 | 篷房|仓储篷房|铝合金篷房|体育篷房|篷房厂家-华烨建筑科技官网 知名电动蝶阀,电动球阀,气动蝶阀,气动球阀生产厂家|价格透明-【固菲阀门官网】 | 东莞喷砂机-喷砂机-喷砂机配件-喷砂器材-喷砂加工-东莞市协帆喷砂机械设备有限公司 | 南京租车,南京汽车租赁,南京包车,南京会议租车-南京七熹租车 | 临时厕所租赁_玻璃钢厕所租赁_蹲式|坐式厕所出租-北京慧海通 | 鹤壁创新仪器公司-全自动量热仪,定硫仪,煤炭测硫仪,灰熔点测定仪,快速自动测氢仪,工业分析仪,煤质化验仪器 | 智能化的检漏仪_气密性测试仪_流量测试仪_流阻阻力测试仪_呼吸管快速检漏仪_连接器防水测试仪_车载镜头测试仪_奥图自动化科技 | 黄石妇科医院_黄石东方女子医院_黄石东方妇产医院怎么样 | 北京网站建设首页,做网站选【优站网】,专注北京网站建设,北京网站推广,天津网站建设,天津网站推广,小程序,手机APP的开发。 | 除湿机|工业除湿机|抽湿器|大型地下室车间仓库吊顶防爆除湿机|抽湿烘干房|新风除湿机|调温/降温除湿机|恒温恒湿机|加湿机-杭州川田电器有限公司 | 天津市能谱科技有限公司-专业的红外光谱仪_红外测油仪_紫外测油仪_红外制样附件_傅里叶红外光谱技术生产服务厂商 |