电脑知识|欧美黑人一区二区三区|软件|欧美黑人一级爽快片淫片高清|系统|欧美黑人狂野猛交老妇|数据库|服务器|编程开发|网络运营|知识问答|技术教程文章 - 好吧啦网

您的位置:首頁技術文章
文章詳情頁

Java實現瀏覽器端大文件分片上傳

瀏覽:8日期:2023-02-14 10:01:43
目錄背景介紹項目介紹需要知識點啟動項目項目示范核心講解核心原理功能分析分塊上傳秒傳功能斷點續傳總結參考文獻背景介紹

  Breakpoint-http,是不是覺得這個名字有點low,break point斷點。這是一個大文件上傳的一種實現。因為本來很久沒寫過前端了,本來想自己好好寫一番js,可惜因為種種原因而作罷了。該項目是基于一款百度開源的前端上傳控件:WebUploader(百度開源的東西文檔一如既往的差,哈哈。或者是我理解能力差)。

  Breakpoint-http,當初想實現這一塊web大文件上傳,是因為有一天同時詢問我這方面的知識,我發現好像在實戰中沒寫過這類的代碼啊。既然知道了自己不足那肯定要狠狠補一下。所以才有了這個項目。

  對了這個項目是gradle+Spring Boot可能有部分人還沒接觸過這兩個東西,這里就不進行講解了,畢竟這不是重點,把gradle當成maven吧,雖然它還有更出色的功能。Spring Boot用來簡化Spring應用的初始搭建以及開發過程,一個約定大于規范的框架。

項目介紹

  Breakpoint-http 是一個基于大文件上傳,并參考網盤上傳文件,而基于web的大文件上傳實現項目。web中上傳大文件沒有桌面軟件那么容易,還好現在是身處于一個html5的時代。我們web端上傳文件常用的做法就是用表單上傳了,一旦上傳的文件大小較大,一旦帶寬跟不上,那用戶只能在哪里一直等著,不能做刷新頁面的操作,并且一旦產生網絡波動,那么用戶所做的一切就白費了。  Breakpoint-http就是為了保證在web端上傳大文件能達到基本的可靠性的一種方案,方法多種,可能的方案會更出色,歡迎討論。要讓大文件上傳能達到可用性,我們需要做到怎么樣的程度呢?  * 斷點續傳 最主要的功能之一,在斷網或者在暫停的情況下,能夠在上傳斷點中繼續上傳。  * 分塊上傳 也是斷點續傳的基礎之一,把大文件通過前端分塊,然后后臺在組在一起。  * 文件妙傳 這個相信大家在網盤中見過不少了,就是服務中已經有人上傳過得文件,其他人再上傳這個文件就秒上傳到服務中去。  * 其他功能 把下面這些功能歸類到其他,是因為它們基本都是通過WebUploader(http://fex.baidu.com/webuploader)來實現的,很簡單。   - 多線程上傳 多個線程上傳不同的塊文件。   - 文件進度顯示 顯示文件的上傳完成情況。   - UI等等。

需要知識點 基于spring boot開發的。 WebUploader,WebUploader是由Baidu WebFE(FEX)團隊開發的一個簡單的以HTML5為主,FLASH為輔的現代文件上傳組件。 redis,key-value存儲系統,在這里我把redis用作存儲文件路徑來使用。 Gradle,Gradle是一個基于JVM的構建工具。這里我用Gradle頂替了Maven。嗯,多學點東西。啟動項目

main方法直接運行:(1)找到App啟動類(win.pangniu.learn包下)(2)執行main方法。(3)然后用瀏覽器訪問:http://localhost:9090

tomcat運行:(1)執行命令gradle war。(2)在out目錄下找到bphttp.war包。(3)拷貝到tomcat,然后運行tomcat。(4)然后用瀏覽器訪問:http://localhost:9090

項目示范

上傳完后的頁面

Java實現瀏覽器端大文件分片上傳

妙傳功能演示頁面

Java實現瀏覽器端大文件分片上傳

核心講解核心原理

該項目核心就是文件分塊上傳。前后端要高度配合,需要雙方約定好一些數據,才能完成大文件分塊,我們在項目中要重點解決的以下問題。* 如何分片;* 如何合成一個文件;* 中斷了從哪個分片開始。如何分,利用強大的js庫,來減輕我們的工作,市場上已經能有關于大文件分塊的輪子,雖然程序員的天性曾迫使我重新造輪子。但是因為時間的關系還有工作的關系,我只能罷休了。最后我選擇了百度的WebUploader來實現前端所需。如何合,在合之前,我們還得先解決一個問題,我們如何區分分塊所屬那個文件的。剛開始的時候,我是采用了前端生成了唯一uuid來做文件的標志,在每個分片請求上帶上。不過后來在做秒傳的時候我放棄了,采用了Md5來維護分塊和文件關系。在服務端合并文件,和記錄分塊的問題,在這方面其實行業已經給了很好的解決方案了。參考迅雷,你會發現,每次下載中的時候,都會有兩個文件,一個文件主體,另外一個就是文件臨時文件,臨時文件存儲著每個分塊對應字節位的狀態。這些都是需要前后端密切聯系才能做好,前端需要根據固定大小對文件進行分片,并且請求中要帶上分片序號和大小。前端發送請求順利到達后臺后,服務器只需要按照請求數據中給的分片序號和每片分塊大小(分片大小是固定且一樣的)算出開始位置,與讀取到的文件片段數據,寫入文件即可。

功能分析分塊上傳

分塊上傳可以說是我們整個項目的基礎,像斷點續傳、暫停這些都是需要用到分塊。分塊這塊相對來說比較簡單。前端是采用了webuploader,分塊等基礎功能已經封裝起來,使用方便。借助webUpload提供給我們的文件API,前端就顯得異常簡單。

// 實例化wu var uploader = WebUploader.create({pick: { id: ’#picker’, label: ’點擊選擇文件’},formData: { uid: 0, md5: ’’, chunkSize: chunkSize},//dnd: ’#dndArea’,//paste: ’#uploader’,swf: ’js/Uploader.swf’,chunked: true,chunkSize: chunkSize, // 字節 1M分塊threads: 3,server: ’index/fileUpload’,auto: false,// 禁掉全局的拖拽功能。這樣不會出現圖片拖進頁面的時候,把圖片打開。disableGlobalDnd: true,fileNumLimit: 1024,fileSizeLimit: 1024 * 1024 * 1024, // 200 MfileSingleSizeLimit: 1024 * 1024 * 1024 // 50 M });

分則必合。把大文件分片了,但是分片了就沒有原本文件功能,所以我們要把分片合成為原本的文件。我們只需要把分片按原本位置寫入到文件中去。因為前面原理那一部我們已經講到了,我們知道分塊大小和分塊序號,我就可以知道該分塊在文件中的起始位置。所以這里使用RandomAccessFile是明智的,RandomAccessFile能在文件里面前后移動。但是在andomAccessFile的絕大多數功能,已經被JDK1.4的NIO的“內存映射文件(memory-mapped files)”取代了。我在該項目中分別寫了使用RandomAccessFile與MappedByteBuffer來合成文件。分別對應的方法是uploadFileRandomAccessFile和uploadFileByMappedByteBuffer。兩個方法代碼如下。

public void uploadFileRandomAccessFile(MultipartFileParam param) throws IOException {String fileName = param.getName();String tempDirPath = finalDirPath + param.getMd5();String tempFileName = fileName + '_tmp';File tmpDir = new File(tempDirPath);File tmpFile = new File(tempDirPath, tempFileName);if (!tmpDir.exists()) { tmpDir.mkdirs();}RandomAccessFile accessTmpFile = new RandomAccessFile(tmpFile, 'rw');long offset = CHUNK_SIZE * param.getChunk();//定位到該分片的偏移量accessTmpFile.seek(offset);//寫入該分片數據accessTmpFile.write(param.getFile().getBytes());// 釋放accessTmpFile.close();boolean isOk = checkAndSetUploadProgress(param, tempDirPath);if (isOk) { boolean flag = renameFile(tmpFile, fileName); System.out.println('upload complete !!' + flag + ' name=' + fileName);} } public void uploadFileByMappedByteBuffer(MultipartFileParam param) throws IOException { String fileName = param.getName(); String uploadDirPath = finalDirPath + param.getMd5(); String tempFileName = fileName + '_tmp'; File tmpDir = new File(uploadDirPath); File tmpFile = new File(uploadDirPath, tempFileName); if (!tmpDir.exists()) {tmpDir.mkdirs(); } RandomAccessFile tempRaf = new RandomAccessFile(tmpFile, 'rw'); FileChannel fileChannel = tempRaf.getChannel(); //寫入該分片數據 long offset = CHUNK_SIZE * param.getChunk(); byte[] fileData = param.getFile().getBytes(); MappedByteBuffer mappedByteBuffer = fileChannel.map(FileChannel.MapMode.READ_WRITE, offset, fileData.length); mappedByteBuffer.put(fileData); // 釋放 FileMD5Util.freedMappedByteBuffer(mappedByteBuffer); fileChannel.close(); boolean isOk = checkAndSetUploadProgress(param, uploadDirPath); if (isOk) {boolean flag = renameFile(tmpFile, fileName);System.out.println('upload complete !!' + flag + ' name=' + fileName); }}秒傳功能

秒傳功能,相信大家都體現過了,網盤上傳的時候,發現上傳的文件秒傳了。其實原理稍微有研究過的同學應該知道,其實就是檢驗文件MD5,記錄下上傳到系統的文件的MD5,在一個文件上傳前先獲取文件內容MD5值或者部分取值MD5,然后在匹配系統上的數據。Breakpoint-http實現秒傳原理,客戶端選擇文件之后,點擊上傳的時候觸發獲取文件MD5值,獲取MD5后調用系統一個接口(/index/checkFileMd5),查詢該MD5是否已經存在(我在該項目中用redis來存儲數據,用文件MD5值來作key,value是文件存儲的地址。)接口返回檢查狀態,然后再進行下一步的操作。相信大家看代碼就能明白了。 嗯,前端的MD5取值也是用了webuploader自帶的功能,這還是個不錯的工具。

斷點續傳

斷點續傳,就是在文件上傳的過程中發生了中斷,人為因素(暫停)或者不可抗力(斷網或者網絡差)導致了文件上傳到一半失敗了。然后在環境恢復的時候,重新上傳該文件,而不至于是從新開始上傳的。 前面也已經講過,斷點續傳的功能是基于分塊上傳來實現的,把一個大文件分成很多個小塊,服務端能夠把每個上傳成功的分塊都落地下來,客戶端在上傳文件開始時調用接口快速驗證,條件選擇跳過某個分塊。 實現原理,就是在每個文件上傳前,就獲取到文件MD5取值,在上傳文件前調用接口(/index/checkFileMd5,沒錯也是秒傳的檢驗接口)如果獲取的文件狀態是未完成,則返回所有的還沒上傳的分塊的編號,然后前端進行條件篩算出哪些沒上傳的分塊,然后進行上傳。

/** * 秒傳判斷,斷點判斷 * * @return */ @RequestMapping(value = 'checkFileMd5', method = RequestMethod.POST) @ResponseBody public Object checkFileMd5(String md5) throws IOException {Object processingObj = stringRedisTemplate.opsForHash().get(Constants.FILE_UPLOAD_STATUS, md5);if (processingObj == null) { return new ResultVo(ResultStatus.NO_HAVE);}String processingStr = processingObj.toString();boolean processing = Boolean.parseBoolean(processingStr);String value = stringRedisTemplate.opsForValue().get(Constants.FILE_MD5_KEY + md5);if (processing) { return new ResultVo(ResultStatus.IS_HAVE, value);} else { File confFile = new File(value); byte[] completeList = FileUtils.readFileToByteArray(confFile); List<String> missChunkList = new LinkedList<>(); for (int i = 0; i < completeList.length; i++) {if (completeList[i] != Byte.MAX_VALUE) { missChunkList.add(i + '');} } return new ResultVo<>(ResultStatus.ING_HAVE, missChunkList);} }總結

身為一個具有拖延癥的程序猿,寫個文檔及其不容易,這方面還是優待加強,寫代碼時間都還沒寫這個文檔長,并且寫了那么久還那么爛的文檔。實在抱歉,望諒解。

獲取代碼

GitHub:https://github.com/Fourwenwen/Breakpoint-http.gitOSChina項目主頁: https://git.oschina.net/Fourwenwen/breakpoint-http.git

參考文獻

[1]http://fex.baidu.com/webuploader/[2]http://www.zuidaima.com/blog/2819949848316928.htm[3]https://my.oschina.net/feichexia/blog/212318

到此這篇關于Java實現瀏覽器端大文件分片上傳的文章就介紹到這了,更多相關Java 大文件分片上傳內容請搜索好吧啦網以前的文章或繼續瀏覽下面的相關文章希望大家以后多多支持好吧啦網!

標簽: Java
相關文章:
主站蜘蛛池模板: 锂电池生产厂家-电动自行车航模无人机锂电池定制-世豹新能源 | 空压机网_《压缩机》杂志 | 不锈钢拉手厂家|浴室门拉手厂家|江门市蓬江区金志翔五金制品有限公司 | 机械立体车库租赁_立体停车设备出租_智能停车场厂家_春华起重 | 密集架-密集柜厂家-智能档案密集架-自动选层柜订做-河北风顺金属制品有限公司 | 实验室pH计|电导率仪|溶解氧测定仪|离子浓度计|多参数水质分析仪|pH电极-上海般特仪器有限公司 | 企小优-企业数字化转型服务商_网络推广_网络推广公司 | 扬尘监测_扬尘监测系统_带证扬尘监测设备 - 郑州港迪科技有限公司 | 涡街流量计_LUGB智能管道式高温防爆蒸汽温压补偿计量表-江苏凯铭仪表有限公司 | 沈阳真空机_沈阳真空包装机_沈阳大米真空包装机-沈阳海鹞真空包装机械有限公司 | 高空重型升降平台_高空液压举升平台_高空作业平台_移动式升降机-河南华鹰机械设备有限公司 | ALC墙板_ALC轻质隔墙板_隔音防火墙板_轻质隔墙材料-湖北博悦佳 | 防渗土工膜|污水处理防渗膜|垃圾填埋场防渗膜-泰安佳路通工程材料有限公司 | 彩超机-黑白B超机-便携兽用B超机-多普勒彩超机价格「大为彩超」厂家 | 生态板-实木生态板-生态板厂家-源木原作生态板品牌-深圳市方舟木业有限公司 | 「安徽双凯」自动售货机-无人售货机-成人用品-自动饮料食品零食售货机 | 车牌识别道闸_停车场收费系统_人脸识别考勤机_速通门闸机_充电桩厂家_中全清茂官网 | 液氮罐(生物液氮罐)百科-无锡爱思科| 金环宇|金环宇电线|金环宇电缆|金环宇电线电缆|深圳市金环宇电线电缆有限公司|金环宇电缆集团 | 龙门加工中心-数控龙门加工中心厂家价格-山东海特数控机床有限公司_龙门加工中心-数控龙门加工中心厂家价格-山东海特数控机床有限公司 | 温州食堂承包 - 温州市尚膳餐饮管理有限公司 | 电缆接头_防水接头_电缆防水接头_防水电缆接头_上海闵彬 | 报警器_家用防盗报警器_烟雾报警器_燃气报警器_防盗报警系统厂家-深圳市刻锐智能科技有限公司 | 东莞办公家具厂家直销-美鑫【免费3D效果图】全国办公桌/会议桌定制 | 石膏基自流平砂浆厂家-高强石膏基保温隔声自流平-轻质抹灰石膏粉砂浆批发-永康市汇利建设有限公司 | Trimos测长机_测高仪_TESA_mahr,WYLER水平仪,PWB对刀仪-德瑞华测量技术(苏州)有限公司 | 国际船舶网 - 船厂、船舶、造船、船舶设备、航运及海洋工程等相关行业综合信息平台 | 暖气片十大品牌厂家_铜铝复合暖气片厂家_暖气片什么牌子好_欣鑫达散热器 | 二手Sciex液质联用仪-岛津气质联用仪-二手安捷伦气质联用仪-上海隐智科学仪器有限公司 | 湖南教师资格网-湖南教师资格证考试网 | 危废处理系统,水泥厂DCS集散控制系统,石灰窑设备自动化控制系统-淄博正展工控设备 | 开云(中国)Kaiyun·官方网站-登录入口 | 免费网站网址收录网_海企优网站推荐平台 | 播音主持培训-中影人教育播音主持学苑「官网」-中国艺考界的贵族学校 | 紧急切断阀_气动切断阀_不锈钢阀门_截止阀_球阀_蝶阀_闸阀-上海上兆阀门制造有限公司 | 金属回收_废铜废铁回收_边角料回收_废不锈钢回收_废旧电缆线回收-广东益夫金属回收公司 | 广东高华家具-公寓床|学生宿舍双层铁床厂家【质保十年】 | 钛板_钛管_钛棒_钛盘管-无锡市盛钛科技有限公司 | 塑料托盘厂家直销-吹塑托盘生产厂家-力库塑业【官网】 | 茶叶百科网-茶叶知识与茶文化探讨分享平台 | 加气混凝土砌块设备,轻质砖设备,蒸养砖设备,新型墙体设备-河南省杜甫机械制造有限公司 |