电脑知识|欧美黑人一区二区三区|软件|欧美黑人一级爽快片淫片高清|系统|欧美黑人狂野猛交老妇|数据库|服务器|编程开发|网络运营|知识问答|技术教程文章 - 好吧啦网

您的位置:首頁技術文章
文章詳情頁

Python Numpy中數據的常用保存與讀取方法

瀏覽:2日期:2022-07-31 13:37:09

在經常性讀取大量的數值文件時(比如深度學習訓練數據),可以考慮現將數據存儲為Numpy格式,然后直接使用Numpy去讀取,速度相比為轉化前快很多.

下面就常用的保存數據到二進制文件和保存數據到文本文件進行介紹:

1.保存為二進制文件(.npy/.npz)

numpy.save

保存一個數組到一個二進制的文件中,保存格式是.npy

參數介紹

numpy.save(file, arr, allow_pickle=True, fix_imports=True)file:文件名/文件路徑arr:要存儲的數組allow_pickle:布爾值,允許使用Python pickles保存對象數組(可選參數,默認即可)fix_imports:為了方便Pyhton2中讀取Python3保存的數據(可選參數,默認即可)

使用

>>> import numpy as np #生成數據 >>> x=np.arange(10) >>> x array([0, 1, 2, 3, 4, 5, 6, 7, 8, 9]) #數據保存 >>> np.save(’save_x’,x) #讀取保存的數據 >>> np.load(’save_x.npy’) array([0, 1, 2, 3, 4, 5, 6, 7, 8, 9]) numpy.savez

這個同樣是保存數組到一個二進制的文件中,但是厲害的是,它可以保存多個數組到同一個文件中,保存格式是.npz,它其實就是多個前面np.save的保存的npy,再通過打包(未壓縮)的方式把這些文件歸到一個文件上,不行你去解壓npz文件就知道了,里面是就是自己保存的多個npy.

參數介紹

numpy.savez(file, *args, **kwds)file:文件名/文件路徑*args:要存儲的數組,可以寫多個,如果沒有給數組指定Key,Numpy將默認從’arr_0’,’arr_1’的方式命名kwds:(可選參數,默認即可)

使用

>>> import numpy as np #生成數據 >>> x=np.arange(10) >>> x array([0, 1, 2, 3, 4, 5, 6, 7, 8, 9]) >>> y=np.sin(x) >>> y array([ 0. , 0.84147098, 0.90929743, 0.14112001, -0.7568025 , -0.95892427, -0.2794155 , 0.6569866 , 0.98935825, 0.41211849]) #數據保存 >>> np.save(’save_xy’,x,y) #讀取保存的數據 >>> npzfile=np.load(’save_xy.npz’) >>> npzfile #是一個對象,無法讀取 <numpy.lib.npyio.NpzFile object at 0x7f63ce4c8860> #按照組數默認的key進行訪問 >>> npzfile[’arr_0’] array([0, 1, 2, 3, 4, 5, 6, 7, 8, 9]) >>> npzfile[’arr_1’] array([ 0. , 0.84147098, 0.90929743, 0.14112001, -0.7568025 , -0.95892427, -0.2794155 , 0.6569866 , 0.98935825, 0.41211849])

更加神奇的是,你可以不適用Numpy默認給數組的Key,而是自己給數組有意義的Key,這樣就可以不用去猜測自己加載數據是否是自己需要的.

#數據保存 >>> np.savez(’newsave_xy’,x=x,y=y) #讀取保存的數據 >>> npzfile=np.load(’newsave_xy.npz’) #按照保存時設定組數key進行訪問 >>> npzfile[’x’] array([0, 1, 2, 3, 4, 5, 6, 7, 8, 9]) >>> npzfile[’y’] array([ 0. , 0.84147098, 0.90929743, 0.14112001, -0.7568025 , -0.95892427, -0.2794155 , 0.6569866 , 0.98935825, 0.41211849])

簡直不能太爽,深度學習中,有時候你保存了訓練集,驗證集,測試集,還包括他們的標簽,用這個方式存儲起來,要啥加載啥,文件數量大大減少,也不會到處改文件名去.

numpy.savez_compressed

這個就是在前面numpy.savez的基礎上加了壓縮,前面我介紹時尤其注明numpy.savez是得到的文件打包,不壓縮的.這個文件就是對文件進行打包時使用了壓縮,可以理解為壓縮前各npy的文件大小不變,使用該函數比前面的numpy.savez得到的npz文件更小.

注:函數所需參數和numpy.savez一致,用法完成一樣.

2.保存到文本文件

numpy.savetxt

保存數組到文本文件上,可以直接打開查看文件里面的內容.

參數介紹

numpy.savetxt(fname, X, fmt=’%.18e’, delimiter=’ ’, newline=’n’, header=’’, footer=’’, comments=’# ’, encoding=None)fname:文件名/文件路徑,如果文件后綴是.gz,文件將被自動保存為.gzip格式,np.loadtxt可以識別該格式X:要存儲的1D或2D數組fmt:控制數據存儲的格式delimiter:數據列之間的分隔符newline:數據行之間的分隔符header:文件頭步寫入的字符串footer:文件底部寫入的字符串comments:文件頭部或者尾部字符串的開頭字符,默認是’#’encoding:使用默認參數

使用

>>> import numpy as np #生成數據 >>> x = y = z = np.ones((2,3)) >>> x array([[1., 1., 1.], [1., 1., 1.]]) #保存數據 np.savetxt(’test.out’, x) np.savetxt(’test1.out’, x,fmt=’%1.4e’) np.savetxt(’test2.out’, x, delimiter=’,’) np.savetxt(’test3.out’, x,newline=’a’) np.savetxt(’test4.out’, x,delimiter=’,’,newline=’a’) np.savetxt(’test5.out’, x,delimiter=’,’,header=’abc’) np.savetxt(’test6.out’, x,delimiter=’,’,footer=’abc’)

保存下來的文件都是友好的,可以直接打開看看有什么變化.

numpy.loadtxt

根據前面定制的保存格式,相應的加載數據的函數也得變化.

參數介紹

numpy.loadtxt(fname, dtype=<class ’float’>, comments=’#’, delimiter=None, converters=None, skiprows=0, usecols=None, unpack=False, ndmin=0, encoding=’bytes’)fname:文件名/文件路徑,如果文件后綴是.gz或.bz2,文件將被解壓,然后再載入dtype:要讀取的數據類型comments:文件頭部或者尾部字符串的開頭字符,用于識別頭部,尾部字符串delimiter:劃分讀取上來值的字符串converters:數據行之間的分隔符.......后面不常用的就不寫了

使用

np.loadtxt(’test.out’) np.loadtxt(’test2.out’, delimiter=’,’)

總結

到此這篇關于Python Numpy中數據的常用保存與讀取方法的文章就介紹到這了,更多相關python numpy 數據保存讀取內容請搜索好吧啦網以前的文章或繼續瀏覽下面的相關文章希望大家以后多多支持好吧啦網!

標簽: Python 編程
相關文章:
主站蜘蛛池模板: 头条搜索极速版下载安装免费新版,头条搜索极速版邀请码怎么填写? - 欧远全 | 正压密封性测试仪-静态发色仪-导丝头柔软性测试仪-济南恒品机电技术有限公司 | 合肥花魁情感婚姻咨询中心_挽回爱情_修复婚姻_恋爱指南 | 定制/定做衬衫厂家/公司-衬衫订做/订制价格/费用-北京圣达信 | 酒瓶_酒杯_玻璃瓶生产厂家_徐州明政玻璃制品有限公司 | 希望影视-高清影视vip热播电影电视剧免费在线抢先看 | 石英粉,滑石粉厂家,山东滑石粉-莱州市向阳滑石粉有限公司 | 废气处理设备-工业除尘器-RTO-RCO-蓄热式焚烧炉厂家-江苏天达环保设备有限公司 | 翰墨AI智能写作助手官网_人工智能问答在线AI写作免费一键生成 | 软文发布平台 - 云软媒网络软文直编发布营销推广平台 | 广州印刷厂_广州彩印厂-广州艺彩印务有限公司 | 四川成人高考_四川成考报名网 | 深圳宣传片制作_产品视频制作_深圳3D动画制作公司_深圳短视频拍摄-深圳市西典映画传媒有限公司 | 塑料熔指仪-塑料熔融指数仪-熔体流动速率试验机-广东宏拓仪器科技有限公司 | 美国PARKER齿轮泵,美国PARKER柱塞泵,美国PARKER叶片泵,美国PARKER电磁阀,美国PARKER比例阀-上海维特锐实业发展有限公司二部 | 盘式曝气器-微孔曝气器-管式曝气器-曝气盘-斜管填料 | 郑州市前程水处理有限公司 | 酒精检测棒,数显温湿度计,酒安酒精测试仪,酒精检测仪,呼气式酒精检测仪-郑州欧诺仪器有限公司 | 湖南长沙商标注册专利申请,长沙公司注册代理记账首选美创! | 股指期货-期货开户-交易手续费佣金加1分-保证金低-期货公司排名靠前-万利信息开户 | 电脑刺绣_绣花厂家_绣花章仔_织唛厂家-[源欣刺绣]潮牌刺绣打版定制绣花加工厂家 | 电竞学校_电子竞技培训学校学院-梦竞未来电竞学校官网 | 电销卡_北京电销卡_包月电话卡-豪付网络 | 宜兴市恺瑞德环保科技有限公司| 苏州教学设备-化工教学设备-环境工程教学模型|同科教仪 | 沈飞防静电地板__机房地板-深圳市沈飞防静电设备有限公司 | 户外健身路径_小区健身器材_室外健身器材厂家_价格-浩然体育 | 标准件-非标紧固件-不锈钢螺栓-非标不锈钢螺丝-非标螺母厂家-三角牙锁紧自攻-南京宝宇标准件有限公司 | 国际船舶网 - 船厂、船舶、造船、船舶设备、航运及海洋工程等相关行业综合信息平台 | [品牌官网]贵州遵义双宁口腔连锁_贵州遵义牙科医院哪家好_种植牙_牙齿矫正_原华美口腔 | 诸城网站建设-网络推广-网站优化-阿里巴巴托管-诸城恒泰互联 | 注塑模具_塑料模具_塑胶模具_范仕达【官网】_东莞模具设计与制造加工厂家 | 懂研帝_专业SCI论文润色机构_SCI投稿发表服务公司 | 小威小说网 - 新小威小说网 - 小威小说网小说搜索引擎 | 南京种植牙医院【官方挂号】_南京治疗种植牙医院那个好_南京看种植牙哪里好_南京茀莱堡口腔医院 尼龙PA610树脂,尼龙PA612树脂,尼龙PA1010树脂,透明尼龙-谷骐科技【官网】 | 直流大电流电源,燃料电池检漏设备-上海政飞 | 金属管浮子流量计_金属转子流量计厂家-淮安润中仪表科技有限公司 | 安全光栅|射频导纳物位开关|音叉料位计|雷达液位计|两级跑偏开关|双向拉绳开关-山东卓信机械有限公司 | 粉末包装机-给袋式包装机-全自动包装机-颗粒-液体-食品-酱腌菜包装机生产线【润立机械】 | RV减速机-蜗轮蜗杆减速机-洗车机减速机-减速机厂家-艾思捷 | 小型铜米机-干式铜米机-杂线全自动铜米机-河南鑫世昌机械制造有限公司 | YJLV22铝芯铠装电缆-MYPTJ矿用高压橡套电缆-天津市电缆总厂 |