电脑知识|欧美黑人一区二区三区|软件|欧美黑人一级爽快片淫片高清|系统|欧美黑人狂野猛交老妇|数据库|服务器|编程开发|网络运营|知识问答|技术教程文章 - 好吧啦网

您的位置:首頁技術(shù)文章
文章詳情頁

Python Numpy中數(shù)據(jù)的常用保存與讀取方法

瀏覽:3日期:2022-07-31 13:37:09

在經(jīng)常性讀取大量的數(shù)值文件時(shí)(比如深度學(xué)習(xí)訓(xùn)練數(shù)據(jù)),可以考慮現(xiàn)將數(shù)據(jù)存儲(chǔ)為Numpy格式,然后直接使用Numpy去讀取,速度相比為轉(zhuǎn)化前快很多.

下面就常用的保存數(shù)據(jù)到二進(jìn)制文件和保存數(shù)據(jù)到文本文件進(jìn)行介紹:

1.保存為二進(jìn)制文件(.npy/.npz)

numpy.save

保存一個(gè)數(shù)組到一個(gè)二進(jìn)制的文件中,保存格式是.npy

參數(shù)介紹

numpy.save(file, arr, allow_pickle=True, fix_imports=True)file:文件名/文件路徑arr:要存儲(chǔ)的數(shù)組allow_pickle:布爾值,允許使用Python pickles保存對(duì)象數(shù)組(可選參數(shù),默認(rèn)即可)fix_imports:為了方便Pyhton2中讀取Python3保存的數(shù)據(jù)(可選參數(shù),默認(rèn)即可)

使用

>>> import numpy as np #生成數(shù)據(jù) >>> x=np.arange(10) >>> x array([0, 1, 2, 3, 4, 5, 6, 7, 8, 9]) #數(shù)據(jù)保存 >>> np.save(’save_x’,x) #讀取保存的數(shù)據(jù) >>> np.load(’save_x.npy’) array([0, 1, 2, 3, 4, 5, 6, 7, 8, 9]) numpy.savez

這個(gè)同樣是保存數(shù)組到一個(gè)二進(jìn)制的文件中,但是厲害的是,它可以保存多個(gè)數(shù)組到同一個(gè)文件中,保存格式是.npz,它其實(shí)就是多個(gè)前面np.save的保存的npy,再通過打包(未壓縮)的方式把這些文件歸到一個(gè)文件上,不行你去解壓npz文件就知道了,里面是就是自己保存的多個(gè)npy.

參數(shù)介紹

numpy.savez(file, *args, **kwds)file:文件名/文件路徑*args:要存儲(chǔ)的數(shù)組,可以寫多個(gè),如果沒有給數(shù)組指定Key,Numpy將默認(rèn)從’arr_0’,’arr_1’的方式命名kwds:(可選參數(shù),默認(rèn)即可)

使用

>>> import numpy as np #生成數(shù)據(jù) >>> x=np.arange(10) >>> x array([0, 1, 2, 3, 4, 5, 6, 7, 8, 9]) >>> y=np.sin(x) >>> y array([ 0. , 0.84147098, 0.90929743, 0.14112001, -0.7568025 , -0.95892427, -0.2794155 , 0.6569866 , 0.98935825, 0.41211849]) #數(shù)據(jù)保存 >>> np.save(’save_xy’,x,y) #讀取保存的數(shù)據(jù) >>> npzfile=np.load(’save_xy.npz’) >>> npzfile #是一個(gè)對(duì)象,無法讀取 <numpy.lib.npyio.NpzFile object at 0x7f63ce4c8860> #按照組數(shù)默認(rèn)的key進(jìn)行訪問 >>> npzfile[’arr_0’] array([0, 1, 2, 3, 4, 5, 6, 7, 8, 9]) >>> npzfile[’arr_1’] array([ 0. , 0.84147098, 0.90929743, 0.14112001, -0.7568025 , -0.95892427, -0.2794155 , 0.6569866 , 0.98935825, 0.41211849])

更加神奇的是,你可以不適用Numpy默認(rèn)給數(shù)組的Key,而是自己給數(shù)組有意義的Key,這樣就可以不用去猜測(cè)自己加載數(shù)據(jù)是否是自己需要的.

#數(shù)據(jù)保存 >>> np.savez(’newsave_xy’,x=x,y=y) #讀取保存的數(shù)據(jù) >>> npzfile=np.load(’newsave_xy.npz’) #按照保存時(shí)設(shè)定組數(shù)key進(jìn)行訪問 >>> npzfile[’x’] array([0, 1, 2, 3, 4, 5, 6, 7, 8, 9]) >>> npzfile[’y’] array([ 0. , 0.84147098, 0.90929743, 0.14112001, -0.7568025 , -0.95892427, -0.2794155 , 0.6569866 , 0.98935825, 0.41211849])

簡(jiǎn)直不能太爽,深度學(xué)習(xí)中,有時(shí)候你保存了訓(xùn)練集,驗(yàn)證集,測(cè)試集,還包括他們的標(biāo)簽,用這個(gè)方式存儲(chǔ)起來,要啥加載啥,文件數(shù)量大大減少,也不會(huì)到處改文件名去.

numpy.savez_compressed

這個(gè)就是在前面numpy.savez的基礎(chǔ)上加了壓縮,前面我介紹時(shí)尤其注明numpy.savez是得到的文件打包,不壓縮的.這個(gè)文件就是對(duì)文件進(jìn)行打包時(shí)使用了壓縮,可以理解為壓縮前各npy的文件大小不變,使用該函數(shù)比前面的numpy.savez得到的npz文件更小.

注:函數(shù)所需參數(shù)和numpy.savez一致,用法完成一樣.

2.保存到文本文件

numpy.savetxt

保存數(shù)組到文本文件上,可以直接打開查看文件里面的內(nèi)容.

參數(shù)介紹

numpy.savetxt(fname, X, fmt=’%.18e’, delimiter=’ ’, newline=’n’, header=’’, footer=’’, comments=’# ’, encoding=None)fname:文件名/文件路徑,如果文件后綴是.gz,文件將被自動(dòng)保存為.gzip格式,np.loadtxt可以識(shí)別該格式X:要存儲(chǔ)的1D或2D數(shù)組fmt:控制數(shù)據(jù)存儲(chǔ)的格式delimiter:數(shù)據(jù)列之間的分隔符newline:數(shù)據(jù)行之間的分隔符header:文件頭步寫入的字符串footer:文件底部寫入的字符串comments:文件頭部或者尾部字符串的開頭字符,默認(rèn)是’#’encoding:使用默認(rèn)參數(shù)

使用

>>> import numpy as np #生成數(shù)據(jù) >>> x = y = z = np.ones((2,3)) >>> x array([[1., 1., 1.], [1., 1., 1.]]) #保存數(shù)據(jù) np.savetxt(’test.out’, x) np.savetxt(’test1.out’, x,fmt=’%1.4e’) np.savetxt(’test2.out’, x, delimiter=’,’) np.savetxt(’test3.out’, x,newline=’a’) np.savetxt(’test4.out’, x,delimiter=’,’,newline=’a’) np.savetxt(’test5.out’, x,delimiter=’,’,header=’abc’) np.savetxt(’test6.out’, x,delimiter=’,’,footer=’abc’)

保存下來的文件都是友好的,可以直接打開看看有什么變化.

numpy.loadtxt

根據(jù)前面定制的保存格式,相應(yīng)的加載數(shù)據(jù)的函數(shù)也得變化.

參數(shù)介紹

numpy.loadtxt(fname, dtype=<class ’float’>, comments=’#’, delimiter=None, converters=None, skiprows=0, usecols=None, unpack=False, ndmin=0, encoding=’bytes’)fname:文件名/文件路徑,如果文件后綴是.gz或.bz2,文件將被解壓,然后再載入dtype:要讀取的數(shù)據(jù)類型comments:文件頭部或者尾部字符串的開頭字符,用于識(shí)別頭部,尾部字符串delimiter:劃分讀取上來值的字符串converters:數(shù)據(jù)行之間的分隔符.......后面不常用的就不寫了

使用

np.loadtxt(’test.out’) np.loadtxt(’test2.out’, delimiter=’,’)

總結(jié)

到此這篇關(guān)于Python Numpy中數(shù)據(jù)的常用保存與讀取方法的文章就介紹到這了,更多相關(guān)python numpy 數(shù)據(jù)保存讀取內(nèi)容請(qǐng)搜索好吧啦網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持好吧啦網(wǎng)!

標(biāo)簽: Python 編程
相關(guān)文章:
主站蜘蛛池模板: 【电子厂招聘_普工招工网_工厂招聘信息平台】-工立方打工网 | 生产自动包装秤_颗粒包装秤_肥料包装秤等包装机械-郑州鑫晟重工科技有限公司 | 生物除臭剂-除味剂-植物-污水除臭剂厂家-携葵环保有限公司 | 台式低速离心机-脱泡离心机-菌种摇床-常州市万丰仪器制造有限公司 | 南京技嘉环保科技有限公司-杀菌除臭剂|污水|垃圾|厕所|橡胶厂|化工厂|铸造厂除臭剂 | 广州展览设计公司_展台设计搭建_展位设计装修公司-众派展览装饰 广州展览制作工厂—[优简]直营展台制作工厂_展会搭建资质齐全 | 塑料瓶罐_食品塑料瓶_保健品塑料瓶_调味品塑料瓶–东莞市富慷塑料制品有限公司 | 减速机三参数组合探头|TSM803|壁挂式氧化锆分析仪探头-安徽鹏宸电气有限公司 | 便携式XPDM露点仪-在线式防爆露点仪-增强型烟气分析仪-约克仪器 冰雕-冰雪世界-大型冰雕展制作公司-赛北冰雕官网 | 昆明网络公司|云南网络公司|昆明网站建设公司|昆明网页设计|云南网站制作|新媒体运营公司|APP开发|小程序研发|尽在昆明奥远科技有限公司 | 预制舱-电力集装箱预制舱-模块化预制舱生产厂家-腾达电器设备 | 绿叶|绿叶投资|健康产业_绿叶投资集团有限公司 | 广州企亚 - 数码直喷、白墨印花、源头厂家、透气无手感方案服务商! | 赛尔特智能移动阳光房-阳光房厂家-赛尔特建筑科技(广东)有限公司 | 科研ELISA试剂盒,酶联免疫检测试剂盒,昆虫_植物ELISA酶免试剂盒-上海仁捷生物科技有限公司 | 粉末包装机,拆包机厂家,价格-上海强牛包装机械设备有限公司 | 纸张环压仪-纸张平滑度仪-杭州纸邦自动化技术有限公司 | 不锈钢水箱厂家,不锈钢保温水箱-山东桑特供水设备 | 电动高尔夫球车|电动观光车|电动巡逻车|电动越野车厂家-绿友机械集团股份有限公司 | 精密五金冲压件_深圳五金冲压厂_钣金加工厂_五金模具加工-诚瑞丰科技股份有限公司 | 薄壁轴承-等截面薄壁轴承生产厂家-洛阳薄壁精密轴承有限公司 | 上海宿田自动化设备有限公司-双面/平面/单面贴标机 | 卷筒电缆-拖链电缆-特种柔性扁平电缆定制厂家「上海缆胜」 | 档案密集架_电动密集架_移动密集架_辽宁档案密集架-盛隆柜业厂家现货批发销售价格公道 | 橡胶粉碎机_橡胶磨粉机_轮胎粉碎机_轮胎磨粉机-河南鼎聚重工机械制造有限公司 | 企典软件一站式企业管理平台,可私有、本地化部署!在线CRM客户关系管理系统|移动办公OA管理系统|HR人事管理系统|人力 | lcd条形屏-液晶长条屏-户外广告屏-条形智能显示屏-深圳市条形智能电子有限公司 | 辽宁资质代办_辽宁建筑资质办理_辽宁建筑资质延期升级_辽宁中杭资质代办 | 地图标注|微信高德百度地图标注|地图标记-做地图[ZuoMap.com] | 电气控制系统集成商-PLC控制柜变频控制柜-非标自动化定制-电气控制柜成套-NIDEC CT变频器-威肯自动化控制 | 浙江自考_浙江自学考试网| 超声波气象站_防爆气象站_空气质量监测站_负氧离子检测仪-风途物联网 | 工业铝型材-铝合金电机壳-铝排-气动执行器-山东永恒能源集团有限公司 | 标准件-非标紧固件-不锈钢螺栓-非标不锈钢螺丝-非标螺母厂家-三角牙锁紧自攻-南京宝宇标准件有限公司 | 酵素生产厂家_酵素OEM_酵素加盟_酵素ODM_酵素原料厂家_厦门益力康 | 博医通医疗器械互联网供应链服务平台_博医通 | 外贮压-柜式-悬挂式-七氟丙烷-灭火器-灭火系统-药剂-价格-厂家-IG541-混合气体-贮压-非贮压-超细干粉-自动-灭火装置-气体灭火设备-探火管灭火厂家-东莞汇建消防科技有限公司 | 仿古瓦,仿古金属瓦,铝瓦,铜瓦,铝合金瓦-西安东申景观艺术工程有限公司 | 等离子空气净化器_医用空气消毒机_空气净化消毒机_中央家用新风系统厂家_利安达官网 | 橡胶膜片,夹布膜片,橡胶隔膜密封,泵阀设备密封膜片-衡水汉丰橡塑科技公司网站 | 塑胶地板-商用PVC地板-pvc地板革-安耐宝pvc塑胶地板厂家 |