电脑知识|欧美黑人一区二区三区|软件|欧美黑人一级爽快片淫片高清|系统|欧美黑人狂野猛交老妇|数据库|服务器|编程开发|网络运营|知识问答|技术教程文章 - 好吧啦网

您的位置:首頁技術文章
文章詳情頁

python保存大型 .mat 數據文件報錯超出 IO 限制的操作

瀏覽:46日期:2022-06-20 09:35:12

python 保存 .mat 文件的大小是有限制的,似乎是 5G 以內,如果需要保存幾十個 G 的數據的話,可以選用其他方式,

比如 h5 文件

import h5pydef h5_data_write(train_data, train_label, test_data, test_label, shuffled_flag): print('h5py文件正在寫入磁盤...')save_path = '../save_test/' + 'train_test_split_data_label_' + shuffled_flag + '.h5' with h5py.File(save_path, ’w’) as f:f.create_dataset(’train_data’, data=train_data)f.create_dataset(’train_label’, data=train_label)f.create_dataset(’test_data’, data=test_data)f.create_dataset(’test_label’, data=test_label) print('h5py文件保存成功!')def h5_data_read(filename): '''keys() : 獲取本文件夾下所有的文件及文件夾的名字f[’key_name’] : 獲取對應的對象 ''' file = h5py.File(filename,’r’) train_data = file[’train_data’][:] train_label = file[’train_label’][:] test_data = file[’test_data’][:] test_label = file[’test_label’][:] return train_data, train_label, test_data, test_label

補充:通過python 讀MATLAB數據文件 *.mat

背景

在做deeplearning過程中,使用caffe的框架,一般使用matlab來處理圖片(matlab處理圖片相對簡單,高效),用python來生成需要的lmdb文件以及做test產生結果。

所以某些matlab從圖片處理得到的label信息都會以.mat文件供python讀取,同時也python產生的結果信息也需要matlab來做進一步的處理(當然也可以使用txt,不嫌麻煩自己處理結構信息)。

介紹

matlab和python間的數據傳輸一般是基于matlab的文件格式.mat,python中numpy和scipy提供了一些函數,可以很好的對.mat文件的數據進行讀寫和處理。

在這里numpy作用是提供Array功能映射matlab里面的Matrix,而scipy提供了兩個函數loadmat和savemat來讀寫.mat文件。

下面是一個簡單的測試程序

具體的函數用法可以看幫助文檔:

import scipy.io as sio import matplotlib.pyplot as plt import numpy as np #matlab文件名 matfn=u’E:/python/測試程序/162250671_162251656_1244.mat’ data=sio.loadmat(matfn) plt.close(’all’) xi=data[’xi’] yi=data[’yi’] ui=data[’ui’] vi=data[’vi’] plt.figure(1) plt.quiver( xi[::5,::5],yi[::5,::5],ui[::5,::5],vi[::5,::5]) plt.figure(2) plt.contourf(xi,yi,ui) plt.show() sio.savemat(’saveddata.mat’, {’xi’: xi,’yi’: yi,’ui’: ui,’vi’: vi}) 示例2

import scipy.io as sioimport numpy as np ###下面是講解python怎么讀取.mat文件以及怎么處理得到的結果###load_fn = ’xxx.mat’load_data = sio.loadmat(load_fn)load_matrix = load_data[’matrix’] #假設文件中存有字符變量是matrix,例如matlab中save(load_fn, ’matrix’);當然可以保存多個save(load_fn, ’matrix_x’, ’matrix_y’, ...);load_matrix_row = load_matrix[0] #取了當時matlab中matrix的第一行,python中數組行排列 ###下面是講解python怎么保存.mat文件供matlab程序使用###save_fn = ’xxx.mat’save_array = np.array([1,2,3,4])sio.savemat(save_fn, {’array’: save_array}) #和上面的一樣,存在了array變量的第一行 save_array_x = np.array([1,2,3,4])save_array_y = np.array([5,6,7,8])sio.savemat(save_fn, {’array_x’: save_array_x, ’array_x’: save_array_x}) #同理,

鑒于以后的目標主要是利用現有的Matlab數據(.mat或者.txt),主要考慮python導入Matlab數據的問題。以下代碼可以解決python讀取.mat文件的問題。

主要使用sicpy.io即可。

sicpy.io提供了兩個函數loadmat和savemat,非常方便。

# adapted from http://blog.csdn.net/rumswell/article/details/8545087import scipy.io as sio #import matplotlib.pyplot as pltfrom pylab import *import numpy as np matfn=’E:Pythonrunmyusematdata.mat’ # the path of .mat datadata=sio.loadmat(matfn) xx=data[’matdata’]figure(1)plot(xx)show()以下代碼是讀入txt數據并轉換成數組,方法比較笨,更有效的方法待研究。

from numpy import * def file2list(filename): fr = open(filename) array = fr.readlines() #以文件中的每行為一個元素,形成一個list列表 num = len(array) returnMat = zeros((num,3))#初始化元素為0的,行號數個列表,其中每個元素仍是列表,元素數是3,在此表示矩陣 index = 0for line in array: line = line.strip()#去掉一行后的回車符號 linelist = line.split(’ ’)#將一行根據分割符,劃分成多個元素的列表 returnMat[index,:] = linelist[0:3]#向矩陣賦值,注意這種賦值方式比較笨拙 index +=1 return returnMat fname = ’E:Pythonrunmyusenum_data.txt’data= file2list(fname)

補充:Python 讀寫 Matlab Mat 格式數據

1. 非 matlab v7.3 files 讀寫

import scipy.io as sioimport numpy# matFile 讀取matFile = ’matlabdata.mat’datas = sio.loadmat(matFile)# 加載 matFile 內的數據# 假設 mat 內保存的變量為 matlabdatamatlabdata = datas[’matlabdata’]# matFile 寫入save_matFile = ’save_matlabdata.mat’save_matlabdata = np.array([1,2,3,4,5])sio.savemat(save_matFile, {’array’:save_matlabdata})2. matlab v7.3 files 讀取

如果 matlab 保存 data 時,采用的是 ‘-v7.3’,scipy.io.loadmat函數加載數據會出現錯誤:

File '/usr/local/lib/python2.7/dist-packages/scipy/io/matlab/mio.py', line 64, in mat_reader_factory raise NotImplementedError(’Please use HDF reader for matlab v7.3 files’)NotImplementedError: Please use HDF reader for matlab v7.3 files

可以采用:

import h5pywith h5py.File(’matlabdata.mat’, ’r’) as f: f.keys() # matlabdata.mat 中的變量名datas = h5py.File(’matlabdata.mat’)[’matlabdata’].value

以上為個人經驗,希望能給大家一個參考,也希望大家多多支持好吧啦網。如有錯誤或未考慮完全的地方,望不吝賜教。

標簽: Python 編程
相關文章:
主站蜘蛛池模板: 废气处理_废气处理设备_工业废气处理_江苏龙泰环保设备制造有限公司 | 筛分机|振动筛分机|气流筛分机|筛分机厂家-新乡市大汉振动机械有限公司 | 滤芯,过滤器,滤油机,贺德克滤芯,精密滤芯_新乡市宇清流体净化技术有限公司 | 亮点云建站-网站建设制作平台 | 机房监控|动环监控|动力环境监控系统方案产品定制厂家 - 迈世OMARA | LHH药品稳定性试验箱-BPS系列恒温恒湿箱-意大利超低温冰箱-上海一恒科学仪器有限公司 | 柔软云母板-硬质-水位计云母片组件-首页-武汉长丰云母绝缘材料有限公司 | 烟台游艇培训,威海游艇培训-烟台市邮轮游艇行业协会 | 空压机网_《压缩机》杂志| 意大利Frascold/富士豪压缩机_富士豪半封闭压缩机_富士豪活塞压缩机_富士豪螺杆压缩机 | 引领中高档酒店加盟_含舍·美素酒店品牌官网 | 北京包装设计_标志设计公司_包装设计公司-北京思逸品牌设计 | 皮带机_移动皮带机_大倾角皮带机_皮带机厂家 - 新乡市国盛机械设备有限公司 | YAGEO国巨电容|贴片电阻|电容价格|三星代理商-深圳市巨优电子有限公司 | pbootcms网站模板|织梦模板|网站源码|jquery建站特效-html5模板网 | 云南标线|昆明划线|道路标线|交通标线-就选云南云路施工公司-云南云路科技有限公司 | 合肥花魁情感婚姻咨询中心_挽回爱情_修复婚姻_恋爱指南 | 意大利Frascold/富士豪压缩机_富士豪半封闭压缩机_富士豪活塞压缩机_富士豪螺杆压缩机 | 聚氨酯保温钢管_聚氨酯直埋保温管道_聚氨酯发泡保温管厂家-沧州万荣防腐保温管道有限公司 | 船用锚链|专业锚链生产厂家|安徽亚太锚链制造有限公司 | 一体化预制泵站-一体化提升泵站-一体化泵站厂家-山东康威环保 | 电子天平-华志电子天平厂家| 西门子气候补偿器,锅炉气候补偿器-陕西沃信机电工程有限公司 | 上海心叶港澳台联考一对一培训_上海心叶港澳台联考,港澳台联考一对一升学指导 | HYDAC过滤器,HYDAC滤芯,现货ATOS油泵,ATOS比例阀-东莞市广联自动化科技有限公司 | 胶原检测试剂盒,弹性蛋白检测试剂盒,类克ELISA试剂盒,阿达木单抗ELISA试剂盒-北京群晓科苑生物技术有限公司 | 网站建设,北京网站建设,北京网站建设公司,网站系统开发,北京网站制作公司,响应式网站,做网站公司,海淀做网站,朝阳做网站,昌平做网站,建站公司 | 贴片电容代理-三星电容-村田电容-风华电容-国巨电容-深圳市昂洋科技有限公司 | 臭氧发生器_臭氧消毒机 - 【同林品牌 实力厂家】 | 冷油器-冷油器换管改造-连云港灵动列管式冷油器生产厂家 | 招商帮-一站式网络营销服务|搜索营销推广|信息流推广|短视视频营销推广|互联网整合营销|网络推广代运营|招商帮企业招商好帮手 | 浙江筋膜枪-按摩仪厂家-制造商-肩颈按摩仪哪家好-温州市合喜电子科技有限公司 | 仿古瓦,仿古金属瓦,铝瓦,铜瓦,铝合金瓦-西安东申景观艺术工程有限公司 | 流程管理|流程管理软件|企业流程管理|微宏科技-AlphaFlow_流程管理系统软件服务商 | 菏泽商标注册_菏泽版权登记_商标申请代理_菏泽商标注册去哪里 | 尾轮组_头轮组_矿用刮板_厢式刮板机_铸石刮板机厂家-双驰机械 | 分轨 | 上传文件,即刻分离人声和伴奏| 深圳工程师职称评定条件及流程_深圳职称评审_职称评审-职称网 | 不锈钢发酵罐_水果酒发酵罐_谷物发酵罐_山东誉诚不锈钢制品有限公司 | 心得体会网_心得体会格式范文模板| 碎石机设备-欧版反击破-欧版颚式破碎机(站)厂家_山东奥凯诺机械 高低温试验箱-模拟高低温试验箱订制-北京普桑达仪器科技有限公司【官网】 |