續(xù)傳：分片原理與Spring Boot實(shí)戰(zhàn))
最近在面試候選人的時(shí)候我經(jīng)常問(wèn)到一個(gè)問(wèn)題“你們項(xiàng)目里實(shí)現(xiàn)過(guò)大文件上傳嗎斷點(diǎn)續(xù)傳是怎么做的”這個(gè)問(wèn)題看起來(lái)基礎(chǔ)但能把大文件上傳從“能用”做到“好用”其實(shí)涉及分片、并發(fā)、合并、去重、異?；謴?fù)等一系列細(xì)節(jié)。很多候選人能說(shuō)出“把文件切成幾塊傳上去再合并”這個(gè)思路但一旦追問(wèn)到分片大小怎么定、斷點(diǎn)續(xù)傳怎么判斷、合并順序怎么保證、秒傳怎么實(shí)現(xiàn)就答不上來(lái)了。這篇文章就從面試視角出發(fā)把大文件上傳與斷點(diǎn)續(xù)傳的完整知識(shí)體系和可落地代碼整理出來(lái)。如果你是剛接觸文件上傳的開(kāi)發(fā)者可以把它當(dāng)成一份系統(tǒng)化的入門(mén)教程如果你已經(jīng)做過(guò)普通文件上傳但沒(méi)深入過(guò)大文件場(chǎng)景本文也會(huì)幫你彌補(bǔ)方案設(shè)計(jì)和異常排查這兩塊短板。1. 背景與核心概念1.1 為什么大文件上傳經(jīng)常出問(wèn)題普通文件上傳很簡(jiǎn)單前端一個(gè)input typefile后端用MultipartFile接收幾行代碼就能跑通。但一旦文件體積上升到幾百 MB、甚至幾個(gè) GB問(wèn)題就會(huì)集中出現(xiàn)HTTP 連接超時(shí)一次請(qǐng)求傳輸時(shí)間過(guò)長(zhǎng)中間網(wǎng)絡(luò)抖動(dòng)一下整個(gè)文件就要重新傳。內(nèi)存溢出后端通過(guò)byte[]一次性讀取整個(gè)文件時(shí)很容易造成 JVM 堆內(nèi)存溢出OOM。無(wú)法續(xù)傳傳輸?shù)?90% 失敗沒(méi)有續(xù)傳機(jī)制只能從頭再來(lái)。帶寬浪費(fèi)同一個(gè)文件在多個(gè)用戶之間重復(fù)上傳浪費(fèi)存儲(chǔ)空間和帶寬。服務(wù)端壓力大大量用戶同時(shí)上傳大文件服務(wù)端的線程、內(nèi)存、磁盤(pán) IO 都會(huì)被瞬間打滿。大文件上傳的核心思路就是“化整為零再聚零為整”前端把大文件切成多個(gè)小分片逐個(gè)上傳到服務(wù)端最后服務(wù)端把所有分片按順序合并成完整文件。這個(gè)過(guò)程中再配合斷點(diǎn)續(xù)傳、秒傳等機(jī)制就能解決上面的大部分問(wèn)題。1.2 分片上傳、斷點(diǎn)續(xù)傳、秒傳的區(qū)別這三個(gè)概念經(jīng)常一起出現(xiàn)但含義不同。分片上傳Multipart Upload是基礎(chǔ)手段。前端把文件按照固定大小切開(kāi)比如每個(gè)分片 5MB然后一個(gè)個(gè)傳上去。它的價(jià)值在于單次請(qǐng)求的時(shí)間變短了失敗后只需要重傳失敗的分片服務(wù)端也可以并發(fā)處理多個(gè)分片。斷點(diǎn)續(xù)傳是建立在分片上傳之上的。它記錄“哪些分片已經(jīng)傳成功”當(dāng)網(wǎng)絡(luò)中斷、頁(yè)面刷新、服務(wù)重啟之后已經(jīng)上傳成功的分片不需要重傳只需要從第一個(gè)失敗的分片繼續(xù)傳。實(shí)現(xiàn)斷點(diǎn)續(xù)傳的關(guān)鍵在于服務(wù)端要能告訴前端“你已經(jīng)有這些分片了跳過(guò)它們”。秒傳則是更高一層的優(yōu)化。它本質(zhì)上做了“文件去重”在上傳開(kāi)始前先計(jì)算文件內(nèi)容哈希服務(wù)端發(fā)現(xiàn)這個(gè)哈希對(duì)應(yīng)的文件已經(jīng)存在就直接返回已有文件地址前端不再真正上傳數(shù)據(jù)。秒傳面對(duì)的場(chǎng)景是“同一個(gè)文件被多人上傳”而不是“文件真的能秒傳”。用一個(gè)表格來(lái)總結(jié)概念解決什么問(wèn)題核心依賴分片上傳大文件傳輸超時(shí)、內(nèi)存溢出前端切片、服務(wù)端合并斷點(diǎn)續(xù)傳傳輸失敗后重新上傳已上傳分片記錄秒傳相同文件重復(fù)上傳文件內(nèi)容哈希去重1.3 常見(jiàn)應(yīng)用場(chǎng)景大文件上傳和斷點(diǎn)續(xù)傳在業(yè)務(wù)系統(tǒng)里非常常見(jiàn)視頻類網(wǎng)站的視頻上傳、轉(zhuǎn)碼素材上傳。網(wǎng)盤(pán)類的文檔、壓縮包、安裝包上傳。企業(yè)內(nèi)部系統(tǒng)的大數(shù)據(jù)文件導(dǎo)入、日志上傳。在線教育平臺(tái)的課件、錄播視頻上傳。對(duì)象存儲(chǔ)服務(wù)的前端直傳場(chǎng)景。這些場(chǎng)景往往對(duì)成功率、傳輸效率、用戶體驗(yàn)都有較高要求所以需要一套比普通上傳更完整的方案。2. 整體方案設(shè)計(jì)2.1 典型技術(shù)棧與流程一個(gè)可落地的大文件上傳方案通常由三部分組成前端負(fù)責(zé)文件分片、并發(fā)控制、進(jìn)度展示、失敗重試。后端負(fù)責(zé)接收分片、記錄上傳狀態(tài)、合并分片、校驗(yàn)文件。存儲(chǔ)層保存分片臨時(shí)文件、最終文件、上傳元數(shù)據(jù)。本地磁盤(pán)、分布式文件系統(tǒng)、對(duì)象存儲(chǔ)都可以。整體流程如下前端選擇文件后計(jì)算文件 MD5/SHA 值并按照固定大小切成多個(gè)分片。前端調(diào)用后端初始化接口攜帶文件名、文件大小、總文件 MD5、總分片數(shù)。后端生成uploadId返回“該文件是否已經(jīng)存在秒傳判斷結(jié)果”以及“已上傳分片編號(hào)列表”。如果秒傳命中前端直接結(jié)束。如果秒傳未命中前端遍歷分片跳過(guò)已經(jīng)上傳過(guò)的分片并發(fā)上傳剩余分片。后端接收每個(gè)分片校驗(yàn)分片編號(hào)、分片大小、分片 MD5把分片落盤(pán)并記錄“該分片已上傳成功”。所有分片上傳完成后前端調(diào)用合并接口。后端校驗(yàn)分片是否齊全按分片編號(hào)順序合并生成最終文件。后端清理臨時(shí)分片和上傳元數(shù)據(jù)返回最終的文件訪問(wèn)地址。這里的關(guān)鍵設(shè)計(jì)是服務(wù)端必須能夠回答“哪些分片已經(jīng)傳過(guò)了”這個(gè)問(wèn)題這也是斷點(diǎn)續(xù)傳與普通分片上傳的本質(zhì)區(qū)別。2.2 需要維護(hù)哪些元數(shù)據(jù)要讓整個(gè)流程可恢復(fù)、可校驗(yàn)服務(wù)端需要記錄一份上傳會(huì)話信息。通常包含以下字段字段含義uploadId上傳會(huì)話唯一標(biāo)識(shí)fileName原始文件名fileSize文件總大小fileMd5整個(gè)文件的 MD5用于秒傳判斷totalChunks總分片數(shù)chunkSize分片大小uploadedChunks已上傳成功分片編號(hào)集合status上傳狀態(tài)例如 INIT / UPLOADING / MERGED / FAILEDcreateTime / updateTime創(chuàng)建時(shí)間、更新時(shí)間在中小項(xiàng)目或單機(jī)部署場(chǎng)景下這個(gè)信息可以放在內(nèi)存Map里也可以存入數(shù)據(jù)庫(kù)。在生產(chǎn)環(huán)境中更推薦存入 Redis因?yàn)?Redis 天然支持過(guò)期時(shí)間可以自動(dòng)清理長(zhǎng)時(shí)間未完成的上傳會(huì)話而且多實(shí)例部署時(shí)狀態(tài)是共享的。3. 核心原理拆解3.1 分片大小怎么定分片大小沒(méi)有絕對(duì)標(biāo)準(zhǔn)需要結(jié)合網(wǎng)絡(luò)環(huán)境、服務(wù)器配置和業(yè)務(wù)類型來(lái)選。如果分片太小比如 1MB分片數(shù)量會(huì)非常多HTTP 請(qǐng)求數(shù)過(guò)多反而增加網(wǎng)絡(luò)開(kāi)銷和服務(wù)端壓力。如果分片太大比如 100MB等于把大文件上傳問(wèn)題又繞回來(lái)了單次請(qǐng)求時(shí)間過(guò)長(zhǎng)失敗重試代價(jià)大。業(yè)界常用的范圍是2MB ~ 20MB。局域網(wǎng)內(nèi)部系統(tǒng)可以用 10MB 或 20MB公網(wǎng)環(huán)境下5MB是比較穩(wěn)妥的選擇。分片數(shù)量可以這樣計(jì)算totalChunks Math.ceil(file.size / chunkSize)比如一個(gè) 1GB 的文件使用 5MB 分片1024MB / 5MB ≈ 205也就是約 205 個(gè)分片這個(gè)數(shù)量級(jí)對(duì)服務(wù)器來(lái)說(shuō)是完全可以接受的。3.2 斷點(diǎn)續(xù)傳的實(shí)現(xiàn)方式斷點(diǎn)續(xù)傳有兩種典型的實(shí)現(xiàn)思路方案一服務(wù)端記錄已上傳分片編號(hào)前端每次開(kāi)始上傳前先調(diào)用查詢接口服務(wù)端返回已經(jīng)上傳成功的分片編號(hào)集合。前端篩選出未上傳的分片只上傳這些分片。這種方案的優(yōu)點(diǎn)是邏輯清晰、實(shí)現(xiàn)簡(jiǎn)單適合前后端都是自己控制的場(chǎng)景。缺點(diǎn)是需要自己維護(hù)分片狀態(tài)。方案二基于對(duì)象存儲(chǔ)的 Multipart Upload如果使用 MinIO、阿里云 OSS、AWS S3 這類對(duì)象存儲(chǔ)它們本身提供了 Multipart Upload 接口。服務(wù)端先調(diào)用 InitiateMultipartUpload 獲取 uploadId然后逐片調(diào)用 UploadPart 上傳最后調(diào)用 CompleteMultipartUpload 合并。如果中途失敗可以調(diào)用 ListParts 查詢已上傳的分片。這種方案把分片存儲(chǔ)、合并、容災(zāi)都下沉到對(duì)象存儲(chǔ)適合云原生場(chǎng)景。但需要理解對(duì)象存儲(chǔ)的 API并且上傳憑證、簽名邏輯要處理好。兩種方案并不沖突。實(shí)際項(xiàng)目中也經(jīng)?？吹健扒岸朔制? 后端聚合 對(duì)象存儲(chǔ)保存最終文件”的混合模式。3.3 秒傳的哈希策略秒傳的核心是內(nèi)容去重最常用的手段是 MD5。但這里有一個(gè)坑如果文件非常大對(duì)完整文件計(jì)算 MD5 會(huì)非常耗時(shí)前端可能要卡頓幾十秒甚至幾分鐘。所以生產(chǎn)環(huán)境常用折中方案先取文件大小、修改時(shí)間做一層快速篩選。再對(duì)文件的開(kāi)頭、中間、結(jié)尾各取一段字節(jié)合并計(jì)算 MD5。如果兩個(gè)文件這些特征完全一致再?zèng)Q定是否執(zhí)行全量 MD5。這種方案雖然存在理論上的碰撞概率但在絕大多數(shù)業(yè)務(wù)場(chǎng)景下已經(jīng)夠用。如果對(duì)準(zhǔn)確性要求極高可以使用 SHA-256或同時(shí)結(jié)合文件大小做二次校驗(yàn)。我這里為了演示方便前端示例中還是使用 SparkMD5 對(duì)完整文件計(jì)算 MD5。實(shí)際項(xiàng)目如果擔(dān)心性能可以參考上面的優(yōu)化思路。3.4 服務(wù)端合并分片合并分片是大文件上傳中最容易出現(xiàn)問(wèn)題的環(huán)節(jié)核心是保證順序和完整性。合并必須按照chunkIndex升序進(jìn)行不能依賴文件名排序因?yàn)榉制募赡苁请S機(jī)生成的。合并過(guò)程中要校驗(yàn)分片數(shù)量是否等于totalChunks每個(gè)分片大小是否符合預(yù)期。合并完成后要清理臨時(shí)分片文件避免磁盤(pán)被占滿。合并時(shí)建議使用流式讀寫(xiě)不要把所有分片一次性讀入內(nèi)存。如果分片數(shù)量很多可以分批合并比如每次合并 100 個(gè)分片防止單次 IO 抖動(dòng)。3.5 并發(fā)控制分片上傳的一大好處是可以并發(fā)上傳多個(gè)分片提升傳輸速度。但并發(fā)不能無(wú)上限否則服務(wù)端線程、帶寬、磁盤(pán) IO 會(huì)被直接打滿。前端并發(fā)建議控制在3 ~ 6個(gè)后端在網(wǎng)關(guān)層或服務(wù)層也建議做總并發(fā)限制。分段并發(fā)上傳時(shí)需要前端自己實(shí)現(xiàn)一個(gè)簡(jiǎn)單的“任務(wù)隊(duì)列”而不是Promise.all一次性把所有分片請(qǐng)求發(fā)出去。4. 實(shí)戰(zhàn)Spring Boot 實(shí)現(xiàn)大文件分片上傳與斷點(diǎn)續(xù)傳4.1 環(huán)境準(zhǔn)備本文的示例以后端 Spring Boot 前端原生 HTML/JavaScript 為主重點(diǎn)演示完整流程。需要準(zhǔn)備的環(huán)境如下JDK 8 或以上版本。Maven 3.6 或以上版本。Spring Boot 2.x 或 3.x本示例以常見(jiàn)版本為基礎(chǔ)實(shí)際請(qǐng)按項(xiàng)目情況調(diào)整。一個(gè)前端靜態(tài)目錄Spring Boot 直接放在src/main/resources/static下即可。由于分片上傳的核心邏輯和 Spring Boot 版本關(guān)系不大核心代碼在 2.x 和 3.x 上都可以運(yùn)行。4.2 項(xiàng)目結(jié)構(gòu)upload-demo ├── pom.xml └── src/main ├── java/com/example/upload │ ├── UploadDemoApplication.java │ ├── controller/UploadController.java │ ├── dto/UploadInitDTO.java │ ├── dto/UploadChunkDTO.java │ ├── dto/UploadMergeDTO.java │ ├── service/UploadService.java │ └── vo/UploadInitVO.java └── resources └── static ├── index.html └── index.js4.3 添加依賴pom.xml只需要 Spring Boot Web 依賴和文件上傳相關(guān)依賴Spring Boot 默認(rèn)已經(jīng)引入了文件上傳能力。parent groupIdorg.springframework.boot/groupId artifactIdspring-boot-starter-parent/artifactId version2.7.18/version relativePath/ /parent dependencies dependency groupIdorg.springframework.boot/groupId artifactIdspring-boot-starter-web/artifactId /dependency /dependencies重點(diǎn)說(shuō)明示例中沒(méi)有引入額外工具包合并分片全部使用 JDK 原生 IO 實(shí)現(xiàn)依賴少、容易理解。4.4 后端接口設(shè)計(jì)后端一共提供 4 個(gè)接口接口方法作用/upload/initPOST初始化上傳會(huì)話返回 uploadId 和已上傳分片列表/upload/chunkPOST上傳單個(gè)分片/upload/check/{uploadId}GET查詢已上傳分片編號(hào)/upload/mergePOST合并分片我們先定義 DTO。// 文件路徑src/main/java/com/example/upload/dto/UploadInitDTO.java public class UploadInitDTO { private String fileName; private Long fileSize; private String fileMd5; private Integer totalChunks; private Integer chunkSize; // 省略 getter/setter }// 文件路徑src/main/java/com/example/upload/dto/UploadChunkDTO.java public class UploadChunkDTO { private String uploadId; private Integer chunkIndex; private Integer totalChunks; private String chunkMd5; // 省略 getter/setter }// 文件路徑src/main/java/com/example/upload/dto/UploadMergeDTO.java public class UploadMergeDTO { private String uploadId; // 省略 getter/setter }然后定義上傳會(huì)話實(shí)體。為了方便演示這里使用ConcurrentHashMap保存上傳元數(shù)據(jù)。生產(chǎn)環(huán)境建議替換為 Redis。// 文件路徑src/main/java/com/example/upload/service/UploadSession.java public class UploadSession { private String uploadId; private String fileName; private Long fileSize; private String fileMd5; private Integer totalChunks; private Integer chunkSize; private SetInteger uploadedChunks ConcurrentHashMap.newKeySet(); private String finalFilePath; }4.5 核心 Service 實(shí)現(xiàn)下面逐步實(shí)現(xiàn)UploadService。// 文件路徑src/main/java/com/example/upload/service/UploadService.java Service public class UploadService { private static final String UPLOAD_DIR System.getProperty(java.io.tmpdir) /upload-demo/; private static final String MERGE_DIR System.getProperty(java.io.tmpdir) /upload-demo/merge/; private final MapString, UploadSession sessionMap new ConcurrentHashMap(); public UploadSession initUpload(UploadInitDTO dto) { // 先做秒傳判斷如果文件已存在直接返回完整的 session并標(biāo)記為秒傳命中 String existFile findExistByMd5(dto.getFileMd5()); UploadSession session new UploadSession(); session.setUploadId(UUID.randomUUID().toString().replace(-, )); session.setFileName(dto.getFileName()); session.setFileSize(dto.getFileSize()); session.setFileMd5(dto.getFileMd5()); session.setTotalChunks(dto.getTotalChunks()); session.setChunkSize(dto.getChunkSize()); if (existFile ! null) { session.setFinalFilePath(existFile); // 給一個(gè)特殊標(biāo)記表示秒傳命中 session.setSkipUpload(true); } sessionMap.put(session.getUploadId(), session); return session; } public void uploadChunk(UploadChunkDTO dto, MultipartFile file) throws IOException { UploadSession session sessionMap.get(dto.getUploadId()); if (session null) { throw new RuntimeException(uploadId 不存在請(qǐng)重新初始化上傳); } // 分片編號(hào)不能超出總分片數(shù) if (dto.getChunkIndex() 0 || dto.getChunkIndex() session.getTotalChunks()) { throw new RuntimeException(分片編號(hào)不合法); } // 如果該分片已經(jīng)上傳直接返回避免重復(fù)寫(xiě)盤(pán) if (session.getUploadedChunks().contains(dto.getChunkIndex())) { return; } File chunkDir new File(UPLOAD_DIR dto.getUploadId()); if (!chunkDir.exists()) { chunkDir.mkdirs(); } // 分片文件名使用 uploadId chunkIndex便于合并時(shí)按順序讀取 File chunkFile new File(chunkDir, chunk_ dto.getChunkIndex()); try (InputStream in file.getInputStream(); FileOutputStream out new FileOutputStream(chunkFile)) { byte[] buffer new byte[8192]; int len; while ((len in.read(buffer)) ! -1) { out.write(buffer, 0, len); } } session.getUploadedChunks().add(dto.getChunkIndex()); sessionMap.put(dto.getUploadId(), session); } public SetInteger getUploadedChunks(String uploadId) { UploadSession session sessionMap.get(uploadId); if (session null) { throw new RuntimeException(uploadId 不存在); } return session.getUploadedChunks(); } public String mergeUpload(UploadMergeDTO dto) throws IOException { UploadSession session sessionMap.get(dto.getUploadId()); if (session null) { throw new RuntimeException(uploadId 不存在); } // 檢查分片是否齊全 if (session.getUploadedChunks().size() ! session.getTotalChunks()) { throw new RuntimeException(分片不完整已上傳 session.getUploadedChunks().size() / session.getTotalChunks()); } File mergeDir new File(MERGE_DIR); if (!mergeDir.exists()) { mergeDir.mkdirs(); } String targetFileName session.getFileMd5() _ session.getFileName(); File targetFile new File(mergeDir, targetFileName); // 使用 RandomAccessFile 按順序?qū)懳募?try (RandomAccessFile raf new RandomAccessFile(targetFile, rw)) { for (int i 0; i session.getTotalChunks(); i) { File chunkFile new File(UPLOAD_DIR dto.getUploadId(), chunk_ i); if (!chunkFile.exists()) { throw new RuntimeException(第 i 個(gè)分片不存在); } byte[] bytes Files.readAllBytes(chunkFile.toPath()); raf.seek(raf.length()); raf.write(bytes); } } // 合并成功后清理臨時(shí)分片 File chunkDir new File(UPLOAD_DIR dto.getUploadId()); if (chunkDir.exists()) { for (File f : chunkDir.listFiles()) { f.delete(); } chunkDir.delete(); } session.setFinalFilePath(targetFile.getAbsolutePath()); sessionMap.put(dto.getUploadId(), session); return targetFile.getAbsolutePath(); } private String findExistByMd5(String fileMd5) { // 簡(jiǎn)化邏輯遍歷 sessionMap 中已經(jīng)合并過(guò)的文件 // 生產(chǎn)環(huán)境改為查詢數(shù)據(jù)庫(kù)或?qū)ο蟠鎯?chǔ) return null; } }這里需要解釋幾個(gè)關(guān)鍵點(diǎn)分片文件名使用的是chunk_0、chunk_1這種命名方式合并時(shí)直接按編號(hào)遍歷即可不依賴文件修改時(shí)間或隨機(jī)名。RandomAccessFile寫(xiě)入時(shí)先定位到文件末尾再寫(xiě)入保證分片按順序追加。合并之后清理臨時(shí)目錄避免磁盤(pán)空間被不斷占用。findExistByMd5在示例中返回null實(shí)際項(xiàng)目中可以查詢數(shù)據(jù)庫(kù)中的文件表判斷是否存在同 MD5 的文件。4.6 Controller 實(shí)現(xiàn)// 文件路徑src/main/java/com/example/upload/controller/UploadController.java RestController RequestMapping(/upload) public class UploadController { private final UploadService uploadService; public UploadController(UploadService uploadService) { this.uploadService uploadService; } PostMapping(/init) public UploadSession init(RequestBody UploadInitDTO dto) { return uploadService.initUpload(dto); } PostMapping(/chunk) public MapString, Object uploadChunk(UploadChunkDTO dto, RequestParam(file) MultipartFile file) throws IOException { uploadService.uploadChunk(dto, file); MapString, Object result new HashMap(); result.put(uploadId, dto.getUploadId()); result.put(chunkIndex, dto.getChunkIndex()); return result; } GetMapping(/check/{uploadId}) public SetInteger check(PathVariable String uploadId) { return uploadService.getUploadedChunks(uploadId); } PostMapping(/merge) public MapString, String merge(RequestBody UploadMergeDTO dto) throws IOException { String path uploadService.mergeUpload(dto); MapString, String result new HashMap(); result.put(filePath, path); return result; } }注意/upload/chunk接口接收的是MultipartFile所以前端上傳分片時(shí)分片文件要放在表單的file字段中其他參數(shù)放在表單字段中。4.7 前端實(shí)現(xiàn)前端使用原生 HTML JavaScript Axios 實(shí)現(xiàn)。先寫(xiě)一個(gè)簡(jiǎn)單的頁(yè)面。!-- 文件路徑src/main/resources/static/index.html -- !DOCTYPE html html langzh-CN head meta charsetUTF-8 title大文件分片上傳示例/title /head body input typefile idfileInput / button iduploadBtn開(kāi)始上傳/button div idprogress等待選擇文件.../div script srchttps://cdn.jsdelivr.net/npm/axios/dist/axios.min.js/script script srchttps://cdn.jsdelivr.net/npm/spark-md53.0.2/spark-md5.min.js/script script srcindex.js/script /body /html然后寫(xiě)核心的 JavaScript 邏輯。// 文件路徑src/main/resources/static/index.js const CHUNK_SIZE 5 * 1024 * 1024; // 5MB const MAX_CONCURRENT 3; // 同時(shí)上傳 3 個(gè)分片 document.getElementById(uploadBtn).addEventListener(click, async () { const fileInput document.getElementById(fileInput); const file fileInput.files[0]; if (!file) { alert(請(qǐng)先選擇文件); return; } // 1. 計(jì)算文件 MD5用于秒傳判斷 const fileMd5 await calcFileMD5(file); console.log(文件 MD5:, fileMd5); // 2. 計(jì)算總分片數(shù) const totalChunks Math.ceil(file.size / CHUNK_SIZE); // 3. 初始化上傳 const initRes await axios.post(/upload/init, { fileName: file.name, fileSize: file.size, fileMd5: fileMd5, totalChunks: totalChunks, chunkSize: CHUNK_SIZE }); const uploadId initRes.data.uploadId; // 如果服務(wù)端判斷命中了秒傳直接結(jié)束 if (initRes.data.skipUpload) { document.getElementById(progress).textContent 秒傳成功文件已存在; return; } // 4. 查詢已上傳的分片編號(hào)這里用 set 提升查找效率 const checkRes await axios.get(/upload/check/ uploadId); const uploadedChunks new Set(checkRes.data); // 5. 構(gòu)造待上傳分片隊(duì)列 const chunkTasks []; for (let i 0; i totalChunks; i) { if (uploadedChunks.has(i)) { continue; } const start i * CHUNK_SIZE; const end Math.min(start CHUNK_SIZE, file.size); const chunk file.slice(start, end); chunkTasks.push({ index: i, chunk: chunk }); } if (chunkTasks.length 0) { // 所有分片都已上傳過(guò)只需要合并 await mergeFile(uploadId); return; } // 6. 并發(fā)控制上傳 await uploadChunksInConcurrency(chunkTasks, uploadId, totalChunks); // 7. 合并分片 await mergeFile(uploadId); }); function uploadChunksInConcurrency(tasks, uploadId, totalChunks) { return new Promise((resolve, reject) { let index 0; let active 0; let completed 0; function next() { if (index tasks.length active 0) { resolve(); return; } while (active MAX_CONCURRENT index tasks.length) { const task tasks[index]; index; active; uploadOneChunk(task, uploadId) .then(() { active--; completed; const percent Math.floor(completed / totalChunks * 100); document.getElementById(progress).textContent 上傳進(jìn)度 percent %; next(); }) .catch((err) { active--; console.error(上傳失敗, err); reject(err); }); } } next(); }); } function uploadOneChunk(task, uploadId) { const formData new FormData(); formData.append(file, task.chunk); formData.append(uploadId, uploadId); formData.append(chunkIndex, task.index); formData.append(totalChunks, task.totalChunks); return axios.post(/upload/chunk, formData); } function mergeFile(uploadId) { return axios.post(/upload/merge, { uploadId }).then((res) { document.getElementById(progress).textContent 合并完成文件路徑 res.data.filePath; }); } function calcFileMD5(file) { return new Promise((resolve, reject) { const reader new FileReader(); const spark new SparkMD5.ArrayBuffer(); let currentChunk 0; const chunkSize 2 * 1024 * 1024; // 讀取 MD5 時(shí)也用分片避免大文件卡死瀏覽器 function readNext() { const start currentChunk * chunkSize; const end Math.min(start chunkSize, file.size); reader.readAsArrayBuffer(file.slice(start, end)); } reader.onload (e) { spark.append(e.target.result); currentChunk; if (currentChunk Math.ceil(file.size / chunkSize)) { readNext(); } else { resolve(spark.end()); } }; reader.onerror (err) { reject(err); }; readNext(); }); }前端代碼中calcFileMD5使用分片讀取的方式計(jì)算 MD5而不是一次性readAsArrayBuffer整個(gè)文件這樣可以避免大文件導(dǎo)致瀏覽器內(nèi)存暴漲。uploadChunksInConcurrency函數(shù)實(shí)現(xiàn)了一個(gè)簡(jiǎn)單的并發(fā)隊(duì)列保證同一時(shí)間最多只有 3 個(gè)分片在傳輸。這種寫(xiě)法比Promise.all一次性發(fā)出所有請(qǐng)求更安全。4.8 運(yùn)行與驗(yàn)證啟動(dòng) Spring Boot 應(yīng)用后瀏覽器訪問(wèn)http://localhost:8080/index.html選擇一個(gè)比較大的文件比如幾百 MB點(diǎn)擊“開(kāi)始上傳”觀察控制臺(tái)輸出。預(yù)期效果前端按 5MB 大小切分文件。后端臨時(shí)目錄下出現(xiàn)uploadId/chunk_0、chunk_1等分片文件?？刂婆_(tái)顯示上傳進(jìn)度。所有分片上傳結(jié)束后后端合并文件并清理臨時(shí)目錄。如果想驗(yàn)證斷點(diǎn)續(xù)傳可以在上傳過(guò)程中手動(dòng)關(guān)閉后端服務(wù)然后重新啟動(dòng)再次選擇同一個(gè)文件上傳。前端會(huì)通過(guò)/upload/check接口拿到已上傳分片跳過(guò)它們只補(bǔ)傳失敗的分片。5. 常見(jiàn)問(wèn)題與排查思路5.1 上傳大文件時(shí) OOM問(wèn)題現(xiàn)象上傳過(guò)程中服務(wù)端拋出OutOfMemoryError: Java heap space?？赡茉蚝蠖耸褂胋yte[]直接接收整個(gè)文件文件過(guò)大導(dǎo)致堆內(nèi)存溢出。前端使用readAsArrayBuffer讀取整個(gè)文件瀏覽器標(biāo)簽頁(yè)內(nèi)存飆升。并發(fā)分片太多每個(gè)請(qǐng)求都緩存了較大的分片數(shù)據(jù)。解決思路后端接收分片時(shí)用MultipartFile.getInputStream()流式讀取不要轉(zhuǎn)成byte[]。前端計(jì)算 MD5 時(shí)也要分片讀取?？刂撇l(fā)數(shù)量避免同時(shí)多個(gè)大請(qǐng)求占用內(nèi)存。5.2 合并后文件損壞問(wèn)題現(xiàn)象分片上傳全部成功但合并后的文件無(wú)法打開(kāi)或文件大小不一致。可能原因合并時(shí)未按照chunkIndex排序分片順序錯(cuò)亂。某個(gè)分片上傳失敗但被記錄為成功。分片文件被多個(gè)請(qǐng)求同時(shí)寫(xiě)入。解決思路合并時(shí)嚴(yán)格按下標(biāo)順序遍歷分片文件。服務(wù)端接收分片時(shí)校驗(yàn)分片大小如果分片大小與預(yù)期不符則不標(biāo)記為成功。分片文件采用uploadId chunkIndex唯一命名防止并發(fā)覆蓋。5.3 斷點(diǎn)續(xù)傳沒(méi)生效問(wèn)題現(xiàn)象頁(yè)面刷新或網(wǎng)絡(luò)斷開(kāi)后重新上傳所有分片又重新傳了一遍。可能原因上傳元數(shù)據(jù)保存在服務(wù)端內(nèi)存中服務(wù)重啟后丟失。前端查詢已上傳分片接口的返回值沒(méi)有正確使用。上傳會(huì)話過(guò)期被清理。解決思路生產(chǎn)環(huán)境將上傳元數(shù)據(jù)存入 Redis并設(shè)置合理的過(guò)期時(shí)間。前端在上傳前調(diào)用/upload/check用返回的分片集合做跳過(guò)。設(shè)置合適的過(guò)期時(shí)間比如 2 小時(shí)保證大文件有足夠時(shí)間完成。5.4 多實(shí)例部署時(shí)狀態(tài)不同步問(wèn)題現(xiàn)象應(yīng)用部署了多個(gè)實(shí)例前端上傳分片被負(fù)載均衡分發(fā)到不同實(shí)例導(dǎo)致合并時(shí)提示分片不完整?？赡茉蛎總€(gè)實(shí)例都有獨(dú)立的本地內(nèi)存和臨時(shí)目錄分片文件分散在不同節(jié)點(diǎn)上。上傳元數(shù)據(jù)沒(méi)有共享。解決思路使用 Redis 保存上傳元數(shù)據(jù)保證多個(gè)實(shí)例讀到的狀態(tài)一致。分片臨時(shí)文件放到共享存儲(chǔ)NFS、MinIO、OSS。更推薦使用對(duì)象存儲(chǔ)的 Multipart Upload 能力服務(wù)端只負(fù)責(zé)生成憑證和編排流程。5.5 MinIO 支持?jǐn)帱c(diǎn)續(xù)傳嗎MinIO 本身就是對(duì)象存儲(chǔ)它支持 S3 兼容的 Multipart Upload所以可以實(shí)現(xiàn)斷點(diǎn)續(xù)傳。核心流程和手寫(xiě)方案類似調(diào)用initiateMultipartUpload獲取上傳 ID。分片上傳時(shí)調(diào)用uploadPartMinIO 會(huì)返回每個(gè)分片的 ETag。如果中斷調(diào)用listParts查詢已上傳分片。最后調(diào)用completeMultipartUpload合并分片。但需要注意前端直接對(duì)接 MinIO 時(shí)不能暴露 AccessKey。更安全的做法是后端生成 STS 臨時(shí)憑證或預(yù)簽名 URL前端在憑證有效期內(nèi)上傳。5.6 分片上傳會(huì) OOM 嗎分片上傳本身不會(huì)導(dǎo)致 OOM但使用方式不對(duì)會(huì)。前端如果一次性把文件讀入內(nèi)存再分片會(huì) OOM。后端如果每次把分片讀入byte[]分片大小合理時(shí)通常沒(méi)問(wèn)題因?yàn)閱蝹€(gè)分片只有幾 MB。后端如果合并時(shí)把所有分片一次性讀入內(nèi)存分片數(shù)量大時(shí)也會(huì) OOM。正確做法是分片時(shí)用file.slice()讀取服務(wù)端用流式寫(xiě)入合并時(shí)逐片讀取并寫(xiě)入最終文件不要一次性加載所有分片。6. 最佳實(shí)踐與工程建議6.1 分片大小與并發(fā)參數(shù)參數(shù)沒(méi)有“銀彈”要根據(jù)場(chǎng)景做實(shí)驗(yàn)。這里給一組常用參考值參數(shù)推薦值說(shuō)明分片大小5MB ~ 10MB公網(wǎng)推薦 5MB內(nèi)網(wǎng)可適當(dāng)調(diào)大前端并發(fā)數(shù)3 ~ 6并發(fā)太高會(huì)增加服務(wù)器壓力Redis 過(guò)期時(shí)間2 小時(shí)根據(jù)文件大小和網(wǎng)絡(luò)速度調(diào)整分片 MD5 校驗(yàn)建議開(kāi)啟保證分片內(nèi)容完整防止網(wǎng)絡(luò)傳輸損壞6.2 安全校驗(yàn)大文件上傳接口往往是攻擊者關(guān)注的目標(biāo)必須做好安全邊界登錄態(tài)校驗(yàn)接口必須校驗(yàn)用戶登錄狀態(tài)不能匿名上傳。文件類型校驗(yàn)通過(guò)文件擴(kuò)展名和 MIME 類型雙重校驗(yàn)并且不要信任前端傳的唯一標(biāo)識(shí)。文件大小限制對(duì)分片大小、總分片數(shù)和總文件大小做限制防止惡意上傳超大文件拖垮磁盤(pán)。權(quán)限校驗(yàn)只有有權(quán)限的用戶才能調(diào)用初始化、合并接口。上傳目錄不能放在可執(zhí)行目錄下防止上傳木馬后獲得執(zhí)行權(quán)限。6.3 存儲(chǔ)選型單機(jī)和中小項(xiàng)目本地磁盤(pán)存儲(chǔ)分片和最終文件代碼簡(jiǎn)單部署方便。多實(shí)例項(xiàng)目需要共享存儲(chǔ)或 Redis 保存狀態(tài)否則斷點(diǎn)續(xù)傳會(huì)失效。云原生項(xiàng)目直接使用對(duì)象存儲(chǔ)的 Multipart Upload可靠性和擴(kuò)展性最好。如果使用 MinIO建議后端封裝統(tǒng)一的文件服務(wù)接口而不是讓業(yè)務(wù)代碼直接操作桶。6.4 日志與監(jiān)控文件上傳是重 IO 操作必須記錄足夠的數(shù)據(jù)用于排查記錄每次上傳的 uploadId、文件名、文件大小、分片數(shù)。記錄每個(gè)分片的上傳耗時(shí)、重試次數(shù)。記錄合并的起止時(shí)間、最終文件路徑。監(jiān)控臨時(shí)分片目錄的占用空間定時(shí)清理過(guò)期分片。6.5 前端體驗(yàn)優(yōu)化大文件計(jì)算 MD5 會(huì)阻塞主線程建議使用 Web Worker 在后臺(tái)線程計(jì)算。上傳進(jìn)度條要綜合“當(dāng)前已上傳分片”和“總文件大小”來(lái)計(jì)算而不是簡(jiǎn)單按照最后一次請(qǐng)求的進(jìn)度。失敗時(shí)提供手動(dòng)重試和自動(dòng)重試按鈕自動(dòng)重試次數(shù)建議不超過(guò) 3 次。頁(yè)面刷新后要能恢復(fù)上傳進(jìn)度這是斷點(diǎn)續(xù)存在用戶層的直觀體現(xiàn)。6.6 面試官更看重什么面試中問(wèn)到大文件上傳面試官真正想考察的是是否理解分片上傳的核心思路。是否考慮過(guò)失敗恢復(fù)也就是斷點(diǎn)續(xù)傳。是否考慮過(guò)存儲(chǔ)、內(nèi)存、并發(fā)的邊界情況。是否知道對(duì)象存儲(chǔ)的 Multipart Upload 用法。是否能結(jié)合業(yè)務(wù)場(chǎng)景選擇合適的方案?；卮饡r(shí)可以先用一句話總結(jié)方案再展開(kāi)講分片邏輯、斷點(diǎn)續(xù)傳實(shí)現(xiàn)、秒傳判斷、合并流程最后補(bǔ)充 OOM、順序錯(cuò)亂、多實(shí)例等問(wèn)題。這樣能體現(xiàn)出系統(tǒng)思維。7. 總結(jié)與學(xué)習(xí)路線這篇文章圍繞“大文件上傳與斷點(diǎn)續(xù)傳”展開(kāi)完整介紹了分片上傳、斷點(diǎn)續(xù)傳、秒傳三者的關(guān)系拆解了分片大小、已上傳分片記錄、服務(wù)端合并、并發(fā)控制等核心原理并給出了一個(gè)基于 Spring Boot 和原生前端的完整實(shí)戰(zhàn)示例。如果你準(zhǔn)備面試建議按以下順序建立知識(shí)體系先能用代碼實(shí)現(xiàn)一個(gè)最簡(jiǎn)單的分片上傳。再在此基礎(chǔ)上加入已上傳分片查詢實(shí)現(xiàn)斷點(diǎn)續(xù)傳。接著加入 MD5 秒傳判斷。然后嘗試把上傳狀態(tài)從內(nèi)存遷移到 Redis。最后學(xué)習(xí) MinIO 或 OSS 的 Multipart Upload理解生產(chǎn)級(jí)方案。學(xué)完這些之后你還可以繼續(xù)探索分片上傳的進(jìn)度恢復(fù)、后端合并的并行優(yōu)化、對(duì)象存儲(chǔ)的預(yù)簽名 URL、前端 Web Worker 計(jì)算大文件哈希等進(jìn)階話題。每一步都有很多細(xì)節(jié)值得深挖但掌握了基礎(chǔ)鏈路之后再看這些高級(jí)方案會(huì)輕松很多。如果文章對(duì)你有幫助建議收藏備用動(dòng)手敲一遍代碼比只看不練效果好得多。 大文件上傳與斷點(diǎn)續(xù)傳：分片原理與Spring Boot實(shí)戰(zhàn)
最近在面試候選人的時(shí)候我經(jīng)常問(wèn)到一個(gè)問(wèn)題“你們項(xiàng)目里實(shí)現(xiàn)過(guò)大文件上傳嗎斷點(diǎn)續(xù)傳是怎么做的”這個(gè)問(wèn)題看起來(lái)基礎(chǔ)但能把大文件上傳從“能用”做到“好用”其實(shí)涉及分片、并發(fā)、合并、去重、異?；謴?fù)等一系列細(xì)節(jié)。很多候選人能說(shuō)出“把文件切成幾塊傳上去再合并”這個(gè)思路但一旦追問(wèn)到分片大小怎么定、斷點(diǎn)續(xù)傳怎么判斷、合并順序怎么保證、秒傳怎么實(shí)現(xiàn)就答不上來(lái)了。這篇文章就從面試視角出發(fā)把大文件上傳與斷點(diǎn)續(xù)傳的完整知識(shí)體系和可落地代碼整理出來(lái)。如果你是剛接觸文件上傳的開(kāi)發(fā)者可以把它當(dāng)成一份系統(tǒng)化的入門(mén)教程如果你已經(jīng)做過(guò)普通文件上傳但沒(méi)深入過(guò)大文件場(chǎng)景本文也會(huì)幫你彌補(bǔ)方案設(shè)計(jì)和異常排查這兩塊短板。1. 背景與核心概念1.1 為什么大文件上傳經(jīng)常出問(wèn)題普通文件上傳很簡(jiǎn)單前端一個(gè)input typefile后端用MultipartFile接收幾行代碼就能跑通。但一旦文件體積上升到幾百 MB、甚至幾個(gè) GB問(wèn)題就會(huì)集中出現(xiàn)HTTP 連接超時(shí)一次請(qǐng)求傳輸時(shí)間過(guò)長(zhǎng)中間網(wǎng)絡(luò)抖動(dòng)一下整個(gè)文件就要重新傳。內(nèi)存溢出后端通過(guò)byte[]一次性讀取整個(gè)文件時(shí)很容易造成 JVM 堆內(nèi)存溢出OOM。無(wú)法續(xù)傳傳輸?shù)?90% 失敗沒(méi)有續(xù)傳機(jī)制只能從頭再來(lái)。帶寬浪費(fèi)同一個(gè)文件在多個(gè)用戶之間重復(fù)上傳浪費(fèi)存儲(chǔ)空間和帶寬。服務(wù)端壓力大大量用戶同時(shí)上傳大文件服務(wù)端的線程、內(nèi)存、磁盤(pán) IO 都會(huì)被瞬間打滿。大文件上傳的核心思路就是“化整為零再聚零為整”前端把大文件切成多個(gè)小分片逐個(gè)上傳到服務(wù)端最后服務(wù)端把所有分片按順序合并成完整文件。這個(gè)過(guò)程中再配合斷點(diǎn)續(xù)傳、秒傳等機(jī)制就能解決上面的大部分問(wèn)題。1.2 分片上傳、斷點(diǎn)續(xù)傳、秒傳的區(qū)別這三個(gè)概念經(jīng)常一起出現(xiàn)但含義不同。分片上傳Multipart Upload是基礎(chǔ)手段。前端把文件按照固定大小切開(kāi)比如每個(gè)分片 5MB然后一個(gè)個(gè)傳上去。它的價(jià)值在于單次請(qǐng)求的時(shí)間變短了失敗后只需要重傳失敗的分片服務(wù)端也可以并發(fā)處理多個(gè)分片。斷點(diǎn)續(xù)傳是建立在分片上傳之上的。它記錄“哪些分片已經(jīng)傳成功”當(dāng)網(wǎng)絡(luò)中斷、頁(yè)面刷新、服務(wù)重啟之后已經(jīng)上傳成功的分片不需要重傳只需要從第一個(gè)失敗的分片繼續(xù)傳。實(shí)現(xiàn)斷點(diǎn)續(xù)傳的關(guān)鍵在于服務(wù)端要能告訴前端“你已經(jīng)有這些分片了跳過(guò)它們”。秒傳則是更高一層的優(yōu)化。它本質(zhì)上做了“文件去重”在上傳開(kāi)始前先計(jì)算文件內(nèi)容哈希服務(wù)端發(fā)現(xiàn)這個(gè)哈希對(duì)應(yīng)的文件已經(jīng)存在就直接返回已有文件地址前端不再真正上傳數(shù)據(jù)。秒傳面對(duì)的場(chǎng)景是“同一個(gè)文件被多人上傳”而不是“文件真的能秒傳”。用一個(gè)表格來(lái)總結(jié)概念解決什么問(wèn)題核心依賴分片上傳大文件傳輸超時(shí)、內(nèi)存溢出前端切片、服務(wù)端合并斷點(diǎn)續(xù)傳傳輸失敗后重新上傳已上傳分片記錄秒傳相同文件重復(fù)上傳文件內(nèi)容哈希去重1.3 常見(jiàn)應(yīng)用場(chǎng)景大文件上傳和斷點(diǎn)續(xù)傳在業(yè)務(wù)系統(tǒng)里非常常見(jiàn)視頻類網(wǎng)站的視頻上傳、轉(zhuǎn)碼素材上傳。網(wǎng)盤(pán)類的文檔、壓縮包、安裝包上傳。企業(yè)內(nèi)部系統(tǒng)的大數(shù)據(jù)文件導(dǎo)入、日志上傳。在線教育平臺(tái)的課件、錄播視頻上傳。對(duì)象存儲(chǔ)服務(wù)的前端直傳場(chǎng)景。這些場(chǎng)景往往對(duì)成功率、傳輸效率、用戶體驗(yàn)都有較高要求所以需要一套比普通上傳更完整的方案。2. 整體方案設(shè)計(jì)2.1 典型技術(shù)棧與流程一個(gè)可落地的大文件上傳方案通常由三部分組成前端負(fù)責(zé)文件分片、并發(fā)控制、進(jìn)度展示、失敗重試。后端負(fù)責(zé)接收分片、記錄上傳狀態(tài)、合并分片、校驗(yàn)文件。存儲(chǔ)層保存分片臨時(shí)文件、最終文件、上傳元數(shù)據(jù)。本地磁盤(pán)、分布式文件系統(tǒng)、對(duì)象存儲(chǔ)都可以。整體流程如下前端選擇文件后計(jì)算文件 MD5/SHA 值并按照固定大小切成多個(gè)分片。前端調(diào)用后端初始化接口攜帶文件名、文件大小、總文件 MD5、總分片數(shù)。后端生成uploadId返回“該文件是否已經(jīng)存在秒傳判斷結(jié)果”以及“已上傳分片編號(hào)列表”。如果秒傳命中前端直接結(jié)束。如果秒傳未命中前端遍歷分片跳過(guò)已經(jīng)上傳過(guò)的分片并發(fā)上傳剩余分片。后端接收每個(gè)分片校驗(yàn)分片編號(hào)、分片大小、分片 MD5把分片落盤(pán)并記錄“該分片已上傳成功”。所有分片上傳完成后前端調(diào)用合并接口。后端校驗(yàn)分片是否齊全按分片編號(hào)順序合并生成最終文件。后端清理臨時(shí)分片和上傳元數(shù)據(jù)返回最終的文件訪問(wèn)地址。這里的關(guān)鍵設(shè)計(jì)是服務(wù)端必須能夠回答“哪些分片已經(jīng)傳過(guò)了”這個(gè)問(wèn)題這也是斷點(diǎn)續(xù)傳與普通分片上傳的本質(zhì)區(qū)別。2.2 需要維護(hù)哪些元數(shù)據(jù)要讓整個(gè)流程可恢復(fù)、可校驗(yàn)服務(wù)端需要記錄一份上傳會(huì)話信息。通常包含以下字段字段含義uploadId上傳會(huì)話唯一標(biāo)識(shí)fileName原始文件名fileSize文件總大小fileMd5整個(gè)文件的 MD5用于秒傳判斷totalChunks總分片數(shù)chunkSize分片大小uploadedChunks已上傳成功分片編號(hào)集合status上傳狀態(tài)例如 INIT / UPLOADING / MERGED / FAILEDcreateTime / updateTime創(chuàng)建時(shí)間、更新時(shí)間在中小項(xiàng)目或單機(jī)部署場(chǎng)景下這個(gè)信息可以放在內(nèi)存Map里也可以存入數(shù)據(jù)庫(kù)。在生產(chǎn)環(huán)境中更推薦存入 Redis因?yàn)?Redis 天然支持過(guò)期時(shí)間可以自動(dòng)清理長(zhǎng)時(shí)間未完成的上傳會(huì)話而且多實(shí)例部署時(shí)狀態(tài)是共享的。3. 核心原理拆解3.1 分片大小怎么定分片大小沒(méi)有絕對(duì)標(biāo)準(zhǔn)需要結(jié)合網(wǎng)絡(luò)環(huán)境、服務(wù)器配置和業(yè)務(wù)類型來(lái)選。如果分片太小比如 1MB分片數(shù)量會(huì)非常多HTTP 請(qǐng)求數(shù)過(guò)多反而增加網(wǎng)絡(luò)開(kāi)銷和服務(wù)端壓力。如果分片太大比如 100MB等于把大文件上傳問(wèn)題又繞回來(lái)了單次請(qǐng)求時(shí)間過(guò)長(zhǎng)失敗重試代價(jià)大。業(yè)界常用的范圍是2MB ~ 20MB。局域網(wǎng)內(nèi)部系統(tǒng)可以用 10MB 或 20MB公網(wǎng)環(huán)境下5MB是比較穩(wěn)妥的選擇。分片數(shù)量可以這樣計(jì)算totalChunks Math.ceil(file.size / chunkSize)比如一個(gè) 1GB 的文件使用 5MB 分片1024MB / 5MB ≈ 205也就是約 205 個(gè)分片這個(gè)數(shù)量級(jí)對(duì)服務(wù)器來(lái)說(shuō)是完全可以接受的。3.2 斷點(diǎn)續(xù)傳的實(shí)現(xiàn)方式斷點(diǎn)續(xù)傳有兩種典型的實(shí)現(xiàn)思路方案一服務(wù)端記錄已上傳分片編號(hào)前端每次開(kāi)始上傳前先調(diào)用查詢接口服務(wù)端返回已經(jīng)上傳成功的分片編號(hào)集合。前端篩選出未上傳的分片只上傳這些分片。這種方案的優(yōu)點(diǎn)是邏輯清晰、實(shí)現(xiàn)簡(jiǎn)單適合前后端都是自己控制的場(chǎng)景。缺點(diǎn)是需要自己維護(hù)分片狀態(tài)。方案二基于對(duì)象存儲(chǔ)的 Multipart Upload如果使用 MinIO、阿里云 OSS、AWS S3 這類對(duì)象存儲(chǔ)它們本身提供了 Multipart Upload 接口。服務(wù)端先調(diào)用 InitiateMultipartUpload 獲取 uploadId然后逐片調(diào)用 UploadPart 上傳最后調(diào)用 CompleteMultipartUpload 合并。如果中途失敗可以調(diào)用 ListParts 查詢已上傳的分片。這種方案把分片存儲(chǔ)、合并、容災(zāi)都下沉到對(duì)象存儲(chǔ)適合云原生場(chǎng)景。但需要理解對(duì)象存儲(chǔ)的 API并且上傳憑證、簽名邏輯要處理好。兩種方案并不沖突。實(shí)際項(xiàng)目中也經(jīng)?？吹健扒岸朔制? 后端聚合 對(duì)象存儲(chǔ)保存最終文件”的混合模式。3.3 秒傳的哈希策略秒傳的核心是內(nèi)容去重最常用的手段是 MD5。但這里有一個(gè)坑如果文件非常大對(duì)完整文件計(jì)算 MD5 會(huì)非常耗時(shí)前端可能要卡頓幾十秒甚至幾分鐘。所以生產(chǎn)環(huán)境常用折中方案先取文件大小、修改時(shí)間做一層快速篩選。再對(duì)文件的開(kāi)頭、中間、結(jié)尾各取一段字節(jié)合并計(jì)算 MD5。如果兩個(gè)文件這些特征完全一致再?zèng)Q定是否執(zhí)行全量 MD5。這種方案雖然存在理論上的碰撞概率但在絕大多數(shù)業(yè)務(wù)場(chǎng)景下已經(jīng)夠用。如果對(duì)準(zhǔn)確性要求極高可以使用 SHA-256或同時(shí)結(jié)合文件大小做二次校驗(yàn)。我這里為了演示方便前端示例中還是使用 SparkMD5 對(duì)完整文件計(jì)算 MD5。實(shí)際項(xiàng)目如果擔(dān)心性能可以參考上面的優(yōu)化思路。3.4 服務(wù)端合并分片合并分片是大文件上傳中最容易出現(xiàn)問(wèn)題的環(huán)節(jié)核心是保證順序和完整性。合并必須按照chunkIndex升序進(jìn)行不能依賴文件名排序因?yàn)榉制募赡苁请S機(jī)生成的。合并過(guò)程中要校驗(yàn)分片數(shù)量是否等于totalChunks每個(gè)分片大小是否符合預(yù)期。合并完成后要清理臨時(shí)分片文件避免磁盤(pán)被占滿。合并時(shí)建議使用流式讀寫(xiě)不要把所有分片一次性讀入內(nèi)存。如果分片數(shù)量很多可以分批合并比如每次合并 100 個(gè)分片防止單次 IO 抖動(dòng)。3.5 并發(fā)控制分片上傳的一大好處是可以并發(fā)上傳多個(gè)分片提升傳輸速度。但并發(fā)不能無(wú)上限否則服務(wù)端線程、帶寬、磁盤(pán) IO 會(huì)被直接打滿。前端并發(fā)建議控制在3 ~ 6個(gè)后端在網(wǎng)關(guān)層或服務(wù)層也建議做總并發(fā)限制。分段并發(fā)上傳時(shí)需要前端自己實(shí)現(xiàn)一個(gè)簡(jiǎn)單的“任務(wù)隊(duì)列”而不是Promise.all一次性把所有分片請(qǐng)求發(fā)出去。4. 實(shí)戰(zhàn)Spring Boot 實(shí)現(xiàn)大文件分片上傳與斷點(diǎn)續(xù)傳4.1 環(huán)境準(zhǔn)備本文的示例以后端 Spring Boot 前端原生 HTML/JavaScript 為主重點(diǎn)演示完整流程。需要準(zhǔn)備的環(huán)境如下JDK 8 或以上版本。Maven 3.6 或以上版本。Spring Boot 2.x 或 3.x本示例以常見(jiàn)版本為基礎(chǔ)實(shí)際請(qǐng)按項(xiàng)目情況調(diào)整。一個(gè)前端靜態(tài)目錄Spring Boot 直接放在src/main/resources/static下即可。由于分片上傳的核心邏輯和 Spring Boot 版本關(guān)系不大核心代碼在 2.x 和 3.x 上都可以運(yùn)行。4.2 項(xiàng)目結(jié)構(gòu)upload-demo ├── pom.xml └── src/main ├── java/com/example/upload │ ├── UploadDemoApplication.java │ ├── controller/UploadController.java │ ├── dto/UploadInitDTO.java │ ├── dto/UploadChunkDTO.java │ ├── dto/UploadMergeDTO.java │ ├── service/UploadService.java │ └── vo/UploadInitVO.java └── resources └── static ├── index.html └── index.js4.3 添加依賴pom.xml只需要 Spring Boot Web 依賴和文件上傳相關(guān)依賴Spring Boot 默認(rèn)已經(jīng)引入了文件上傳能力。parent groupIdorg.springframework.boot/groupId artifactIdspring-boot-starter-parent/artifactId version2.7.18/version relativePath/ /parent dependencies dependency groupIdorg.springframework.boot/groupId artifactIdspring-boot-starter-web/artifactId /dependency /dependencies重點(diǎn)說(shuō)明示例中沒(méi)有引入額外工具包合并分片全部使用 JDK 原生 IO 實(shí)現(xiàn)依賴少、容易理解。4.4 后端接口設(shè)計(jì)后端一共提供 4 個(gè)接口接口方法作用/upload/initPOST初始化上傳會(huì)話返回 uploadId 和已上傳分片列表/upload/chunkPOST上傳單個(gè)分片/upload/check/{uploadId}GET查詢已上傳分片編號(hào)/upload/mergePOST合并分片我們先定義 DTO。// 文件路徑src/main/java/com/example/upload/dto/UploadInitDTO.java public class UploadInitDTO { private String fileName; private Long fileSize; private String fileMd5; private Integer totalChunks; private Integer chunkSize; // 省略 getter/setter }// 文件路徑src/main/java/com/example/upload/dto/UploadChunkDTO.java public class UploadChunkDTO { private String uploadId; private Integer chunkIndex; private Integer totalChunks; private String chunkMd5; // 省略 getter/setter }// 文件路徑src/main/java/com/example/upload/dto/UploadMergeDTO.java public class UploadMergeDTO { private String uploadId; // 省略 getter/setter }然后定義上傳會(huì)話實(shí)體。為了方便演示這里使用ConcurrentHashMap保存上傳元數(shù)據(jù)。生產(chǎn)環(huán)境建議替換為 Redis。// 文件路徑src/main/java/com/example/upload/service/UploadSession.java public class UploadSession { private String uploadId; private String fileName; private Long fileSize; private String fileMd5; private Integer totalChunks; private Integer chunkSize; private SetInteger uploadedChunks ConcurrentHashMap.newKeySet(); private String finalFilePath; }4.5 核心 Service 實(shí)現(xiàn)下面逐步實(shí)現(xiàn)UploadService。// 文件路徑src/main/java/com/example/upload/service/UploadService.java Service public class UploadService { private static final String UPLOAD_DIR System.getProperty(java.io.tmpdir) /upload-demo/; private static final String MERGE_DIR System.getProperty(java.io.tmpdir) /upload-demo/merge/; private final MapString, UploadSession sessionMap new ConcurrentHashMap(); public UploadSession initUpload(UploadInitDTO dto) { // 先做秒傳判斷如果文件已存在直接返回完整的 session并標(biāo)記為秒傳命中 String existFile findExistByMd5(dto.getFileMd5()); UploadSession session new UploadSession(); session.setUploadId(UUID.randomUUID().toString().replace(-, )); session.setFileName(dto.getFileName()); session.setFileSize(dto.getFileSize()); session.setFileMd5(dto.getFileMd5()); session.setTotalChunks(dto.getTotalChunks()); session.setChunkSize(dto.getChunkSize()); if (existFile ! null) { session.setFinalFilePath(existFile); // 給一個(gè)特殊標(biāo)記表示秒傳命中 session.setSkipUpload(true); } sessionMap.put(session.getUploadId(), session); return session; } public void uploadChunk(UploadChunkDTO dto, MultipartFile file) throws IOException { UploadSession session sessionMap.get(dto.getUploadId()); if (session null) { throw new RuntimeException(uploadId 不存在請(qǐng)重新初始化上傳); } // 分片編號(hào)不能超出總分片數(shù) if (dto.getChunkIndex() 0 || dto.getChunkIndex() session.getTotalChunks()) { throw new RuntimeException(分片編號(hào)不合法); } // 如果該分片已經(jīng)上傳直接返回避免重復(fù)寫(xiě)盤(pán) if (session.getUploadedChunks().contains(dto.getChunkIndex())) { return; } File chunkDir new File(UPLOAD_DIR dto.getUploadId()); if (!chunkDir.exists()) { chunkDir.mkdirs(); } // 分片文件名使用 uploadId chunkIndex便于合并時(shí)按順序讀取 File chunkFile new File(chunkDir, chunk_ dto.getChunkIndex()); try (InputStream in file.getInputStream(); FileOutputStream out new FileOutputStream(chunkFile)) { byte[] buffer new byte[8192]; int len; while ((len in.read(buffer)) ! -1) { out.write(buffer, 0, len); } } session.getUploadedChunks().add(dto.getChunkIndex()); sessionMap.put(dto.getUploadId(), session); } public SetInteger getUploadedChunks(String uploadId) { UploadSession session sessionMap.get(uploadId); if (session null) { throw new RuntimeException(uploadId 不存在); } return session.getUploadedChunks(); } public String mergeUpload(UploadMergeDTO dto) throws IOException { UploadSession session sessionMap.get(dto.getUploadId()); if (session null) { throw new RuntimeException(uploadId 不存在); } // 檢查分片是否齊全 if (session.getUploadedChunks().size() ! session.getTotalChunks()) { throw new RuntimeException(分片不完整已上傳 session.getUploadedChunks().size() / session.getTotalChunks()); } File mergeDir new File(MERGE_DIR); if (!mergeDir.exists()) { mergeDir.mkdirs(); } String targetFileName session.getFileMd5() _ session.getFileName(); File targetFile new File(mergeDir, targetFileName); // 使用 RandomAccessFile 按順序?qū)懳募?try (RandomAccessFile raf new RandomAccessFile(targetFile, rw)) { for (int i 0; i session.getTotalChunks(); i) { File chunkFile new File(UPLOAD_DIR dto.getUploadId(), chunk_ i); if (!chunkFile.exists()) { throw new RuntimeException(第 i 個(gè)分片不存在); } byte[] bytes Files.readAllBytes(chunkFile.toPath()); raf.seek(raf.length()); raf.write(bytes); } } // 合并成功后清理臨時(shí)分片 File chunkDir new File(UPLOAD_DIR dto.getUploadId()); if (chunkDir.exists()) { for (File f : chunkDir.listFiles()) { f.delete(); } chunkDir.delete(); } session.setFinalFilePath(targetFile.getAbsolutePath()); sessionMap.put(dto.getUploadId(), session); return targetFile.getAbsolutePath(); } private String findExistByMd5(String fileMd5) { // 簡(jiǎn)化邏輯遍歷 sessionMap 中已經(jīng)合并過(guò)的文件 // 生產(chǎn)環(huán)境改為查詢數(shù)據(jù)庫(kù)或?qū)ο蟠鎯?chǔ) return null; } }這里需要解釋幾個(gè)關(guān)鍵點(diǎn)分片文件名使用的是chunk_0、chunk_1這種命名方式合并時(shí)直接按編號(hào)遍歷即可不依賴文件修改時(shí)間或隨機(jī)名。RandomAccessFile寫(xiě)入時(shí)先定位到文件末尾再寫(xiě)入保證分片按順序追加。合并之后清理臨時(shí)目錄避免磁盤(pán)空間被不斷占用。findExistByMd5在示例中返回null實(shí)際項(xiàng)目中可以查詢數(shù)據(jù)庫(kù)中的文件表判斷是否存在同 MD5 的文件。4.6 Controller 實(shí)現(xiàn)// 文件路徑src/main/java/com/example/upload/controller/UploadController.java RestController RequestMapping(/upload) public class UploadController { private final UploadService uploadService; public UploadController(UploadService uploadService) { this.uploadService uploadService; } PostMapping(/init) public UploadSession init(RequestBody UploadInitDTO dto) { return uploadService.initUpload(dto); } PostMapping(/chunk) public MapString, Object uploadChunk(UploadChunkDTO dto, RequestParam(file) MultipartFile file) throws IOException { uploadService.uploadChunk(dto, file); MapString, Object result new HashMap(); result.put(uploadId, dto.getUploadId()); result.put(chunkIndex, dto.getChunkIndex()); return result; } GetMapping(/check/{uploadId}) public SetInteger check(PathVariable String uploadId) { return uploadService.getUploadedChunks(uploadId); } PostMapping(/merge) public MapString, String merge(RequestBody UploadMergeDTO dto) throws IOException { String path uploadService.mergeUpload(dto); MapString, String result new HashMap(); result.put(filePath, path); return result; } }注意/upload/chunk接口接收的是MultipartFile所以前端上傳分片時(shí)分片文件要放在表單的file字段中其他參數(shù)放在表單字段中。4.7 前端實(shí)現(xiàn)前端使用原生 HTML JavaScript Axios 實(shí)現(xiàn)。先寫(xiě)一個(gè)簡(jiǎn)單的頁(yè)面。!-- 文件路徑src/main/resources/static/index.html -- !DOCTYPE html html langzh-CN head meta charsetUTF-8 title大文件分片上傳示例/title /head body input typefile idfileInput / button iduploadBtn開(kāi)始上傳/button div idprogress等待選擇文件.../div script srchttps://cdn.jsdelivr.net/npm/axios/dist/axios.min.js/script script srchttps://cdn.jsdelivr.net/npm/spark-md53.0.2/spark-md5.min.js/script script srcindex.js/script /body /html然后寫(xiě)核心的 JavaScript 邏輯。// 文件路徑src/main/resources/static/index.js const CHUNK_SIZE 5 * 1024 * 1024; // 5MB const MAX_CONCURRENT 3; // 同時(shí)上傳 3 個(gè)分片 document.getElementById(uploadBtn).addEventListener(click, async () { const fileInput document.getElementById(fileInput); const file fileInput.files[0]; if (!file) { alert(請(qǐng)先選擇文件); return; } // 1. 計(jì)算文件 MD5用于秒傳判斷 const fileMd5 await calcFileMD5(file); console.log(文件 MD5:, fileMd5); // 2. 計(jì)算總分片數(shù) const totalChunks Math.ceil(file.size / CHUNK_SIZE); // 3. 初始化上傳 const initRes await axios.post(/upload/init, { fileName: file.name, fileSize: file.size, fileMd5: fileMd5, totalChunks: totalChunks, chunkSize: CHUNK_SIZE }); const uploadId initRes.data.uploadId; // 如果服務(wù)端判斷命中了秒傳直接結(jié)束 if (initRes.data.skipUpload) { document.getElementById(progress).textContent 秒傳成功文件已存在; return; } // 4. 查詢已上傳的分片編號(hào)這里用 set 提升查找效率 const checkRes await axios.get(/upload/check/ uploadId); const uploadedChunks new Set(checkRes.data); // 5. 構(gòu)造待上傳分片隊(duì)列 const chunkTasks []; for (let i 0; i totalChunks; i) { if (uploadedChunks.has(i)) { continue; } const start i * CHUNK_SIZE; const end Math.min(start CHUNK_SIZE, file.size); const chunk file.slice(start, end); chunkTasks.push({ index: i, chunk: chunk }); } if (chunkTasks.length 0) { // 所有分片都已上傳過(guò)只需要合并 await mergeFile(uploadId); return; } // 6. 并發(fā)控制上傳 await uploadChunksInConcurrency(chunkTasks, uploadId, totalChunks); // 7. 合并分片 await mergeFile(uploadId); }); function uploadChunksInConcurrency(tasks, uploadId, totalChunks) { return new Promise((resolve, reject) { let index 0; let active 0; let completed 0; function next() { if (index tasks.length active 0) { resolve(); return; } while (active MAX_CONCURRENT index tasks.length) { const task tasks[index]; index; active; uploadOneChunk(task, uploadId) .then(() { active--; completed; const percent Math.floor(completed / totalChunks * 100); document.getElementById(progress).textContent 上傳進(jìn)度 percent %; next(); }) .catch((err) { active--; console.error(上傳失敗, err); reject(err); }); } } next(); }); } function uploadOneChunk(task, uploadId) { const formData new FormData(); formData.append(file, task.chunk); formData.append(uploadId, uploadId); formData.append(chunkIndex, task.index); formData.append(totalChunks, task.totalChunks); return axios.post(/upload/chunk, formData); } function mergeFile(uploadId) { return axios.post(/upload/merge, { uploadId }).then((res) { document.getElementById(progress).textContent 合并完成文件路徑 res.data.filePath; }); } function calcFileMD5(file) { return new Promise((resolve, reject) { const reader new FileReader(); const spark new SparkMD5.ArrayBuffer(); let currentChunk 0; const chunkSize 2 * 1024 * 1024; // 讀取 MD5 時(shí)也用分片避免大文件卡死瀏覽器 function readNext() { const start currentChunk * chunkSize; const end Math.min(start chunkSize, file.size); reader.readAsArrayBuffer(file.slice(start, end)); } reader.onload (e) { spark.append(e.target.result); currentChunk; if (currentChunk Math.ceil(file.size / chunkSize)) { readNext(); } else { resolve(spark.end()); } }; reader.onerror (err) { reject(err); }; readNext(); }); }前端代碼中calcFileMD5使用分片讀取的方式計(jì)算 MD5而不是一次性readAsArrayBuffer整個(gè)文件這樣可以避免大文件導(dǎo)致瀏覽器內(nèi)存暴漲。uploadChunksInConcurrency函數(shù)實(shí)現(xiàn)了一個(gè)簡(jiǎn)單的并發(fā)隊(duì)列保證同一時(shí)間最多只有 3 個(gè)分片在傳輸。這種寫(xiě)法比Promise.all一次性發(fā)出所有請(qǐng)求更安全。4.8 運(yùn)行與驗(yàn)證啟動(dòng) Spring Boot 應(yīng)用后瀏覽器訪問(wèn)http://localhost:8080/index.html選擇一個(gè)比較大的文件比如幾百 MB點(diǎn)擊“開(kāi)始上傳”觀察控制臺(tái)輸出。預(yù)期效果前端按 5MB 大小切分文件。后端臨時(shí)目錄下出現(xiàn)uploadId/chunk_0、chunk_1等分片文件?？刂婆_(tái)顯示上傳進(jìn)度。所有分片上傳結(jié)束后后端合并文件并清理臨時(shí)目錄。如果想驗(yàn)證斷點(diǎn)續(xù)傳可以在上傳過(guò)程中手動(dòng)關(guān)閉后端服務(wù)然后重新啟動(dòng)再次選擇同一個(gè)文件上傳。前端會(huì)通過(guò)/upload/check接口拿到已上傳分片跳過(guò)它們只補(bǔ)傳失敗的分片。5. 常見(jiàn)問(wèn)題與排查思路5.1 上傳大文件時(shí) OOM問(wèn)題現(xiàn)象上傳過(guò)程中服務(wù)端拋出OutOfMemoryError: Java heap space?？赡茉蚝蠖耸褂胋yte[]直接接收整個(gè)文件文件過(guò)大導(dǎo)致堆內(nèi)存溢出。前端使用readAsArrayBuffer讀取整個(gè)文件瀏覽器標(biāo)簽頁(yè)內(nèi)存飆升。并發(fā)分片太多每個(gè)請(qǐng)求都緩存了較大的分片數(shù)據(jù)。解決思路后端接收分片時(shí)用MultipartFile.getInputStream()流式讀取不要轉(zhuǎn)成byte[]。前端計(jì)算 MD5 時(shí)也要分片讀取?？刂撇l(fā)數(shù)量避免同時(shí)多個(gè)大請(qǐng)求占用內(nèi)存。5.2 合并后文件損壞問(wèn)題現(xiàn)象分片上傳全部成功但合并后的文件無(wú)法打開(kāi)或文件大小不一致。可能原因合并時(shí)未按照chunkIndex排序分片順序錯(cuò)亂。某個(gè)分片上傳失敗但被記錄為成功。分片文件被多個(gè)請(qǐng)求同時(shí)寫(xiě)入。解決思路合并時(shí)嚴(yán)格按下標(biāo)順序遍歷分片文件。服務(wù)端接收分片時(shí)校驗(yàn)分片大小如果分片大小與預(yù)期不符則不標(biāo)記為成功。分片文件采用uploadId chunkIndex唯一命名防止并發(fā)覆蓋。5.3 斷點(diǎn)續(xù)傳沒(méi)生效問(wèn)題現(xiàn)象頁(yè)面刷新或網(wǎng)絡(luò)斷開(kāi)后重新上傳所有分片又重新傳了一遍。可能原因上傳元數(shù)據(jù)保存在服務(wù)端內(nèi)存中服務(wù)重啟后丟失。前端查詢已上傳分片接口的返回值沒(méi)有正確使用。上傳會(huì)話過(guò)期被清理。解決思路生產(chǎn)環(huán)境將上傳元數(shù)據(jù)存入 Redis并設(shè)置合理的過(guò)期時(shí)間。前端在上傳前調(diào)用/upload/check用返回的分片集合做跳過(guò)。設(shè)置合適的過(guò)期時(shí)間比如 2 小時(shí)保證大文件有足夠時(shí)間完成。5.4 多實(shí)例部署時(shí)狀態(tài)不同步問(wèn)題現(xiàn)象應(yīng)用部署了多個(gè)實(shí)例前端上傳分片被負(fù)載均衡分發(fā)到不同實(shí)例導(dǎo)致合并時(shí)提示分片不完整?？赡茉蛎總€(gè)實(shí)例都有獨(dú)立的本地內(nèi)存和臨時(shí)目錄分片文件分散在不同節(jié)點(diǎn)上。上傳元數(shù)據(jù)沒(méi)有共享。解決思路使用 Redis 保存上傳元數(shù)據(jù)保證多個(gè)實(shí)例讀到的狀態(tài)一致。分片臨時(shí)文件放到共享存儲(chǔ)NFS、MinIO、OSS。更推薦使用對(duì)象存儲(chǔ)的 Multipart Upload 能力服務(wù)端只負(fù)責(zé)生成憑證和編排流程。5.5 MinIO 支持?jǐn)帱c(diǎn)續(xù)傳嗎MinIO 本身就是對(duì)象存儲(chǔ)它支持 S3 兼容的 Multipart Upload所以可以實(shí)現(xiàn)斷點(diǎn)續(xù)傳。核心流程和手寫(xiě)方案類似調(diào)用initiateMultipartUpload獲取上傳 ID。分片上傳時(shí)調(diào)用uploadPartMinIO 會(huì)返回每個(gè)分片的 ETag。如果中斷調(diào)用listParts查詢已上傳分片。最后調(diào)用completeMultipartUpload合并分片。但需要注意前端直接對(duì)接 MinIO 時(shí)不能暴露 AccessKey。更安全的做法是后端生成 STS 臨時(shí)憑證或預(yù)簽名 URL前端在憑證有效期內(nèi)上傳。5.6 分片上傳會(huì) OOM 嗎分片上傳本身不會(huì)導(dǎo)致 OOM但使用方式不對(duì)會(huì)。前端如果一次性把文件讀入內(nèi)存再分片會(huì) OOM。后端如果每次把分片讀入byte[]分片大小合理時(shí)通常沒(méi)問(wèn)題因?yàn)閱蝹€(gè)分片只有幾 MB。后端如果合并時(shí)把所有分片一次性讀入內(nèi)存分片數(shù)量大時(shí)也會(huì) OOM。正確做法是分片時(shí)用file.slice()讀取服務(wù)端用流式寫(xiě)入合并時(shí)逐片讀取并寫(xiě)入最終文件不要一次性加載所有分片。6. 最佳實(shí)踐與工程建議6.1 分片大小與并發(fā)參數(shù)參數(shù)沒(méi)有“銀彈”要根據(jù)場(chǎng)景做實(shí)驗(yàn)。這里給一組常用參考值參數(shù)推薦值說(shuō)明分片大小5MB ~ 10MB公網(wǎng)推薦 5MB內(nèi)網(wǎng)可適當(dāng)調(diào)大前端并發(fā)數(shù)3 ~ 6并發(fā)太高會(huì)增加服務(wù)器壓力Redis 過(guò)期時(shí)間2 小時(shí)根據(jù)文件大小和網(wǎng)絡(luò)速度調(diào)整分片 MD5 校驗(yàn)建議開(kāi)啟保證分片內(nèi)容完整防止網(wǎng)絡(luò)傳輸損壞6.2 安全校驗(yàn)大文件上傳接口往往是攻擊者關(guān)注的目標(biāo)必須做好安全邊界登錄態(tài)校驗(yàn)接口必須校驗(yàn)用戶登錄狀態(tài)不能匿名上傳。文件類型校驗(yàn)通過(guò)文件擴(kuò)展名和 MIME 類型雙重校驗(yàn)并且不要信任前端傳的唯一標(biāo)識(shí)。文件大小限制對(duì)分片大小、總分片數(shù)和總文件大小做限制防止惡意上傳超大文件拖垮磁盤(pán)。權(quán)限校驗(yàn)只有有權(quán)限的用戶才能調(diào)用初始化、合并接口。上傳目錄不能放在可執(zhí)行目錄下防止上傳木馬后獲得執(zhí)行權(quán)限。6.3 存儲(chǔ)選型單機(jī)和中小項(xiàng)目本地磁盤(pán)存儲(chǔ)分片和最終文件代碼簡(jiǎn)單部署方便。多實(shí)例項(xiàng)目需要共享存儲(chǔ)或 Redis 保存狀態(tài)否則斷點(diǎn)續(xù)傳會(huì)失效。云原生項(xiàng)目直接使用對(duì)象存儲(chǔ)的 Multipart Upload可靠性和擴(kuò)展性最好。如果使用 MinIO建議后端封裝統(tǒng)一的文件服務(wù)接口而不是讓業(yè)務(wù)代碼直接操作桶。6.4 日志與監(jiān)控文件上傳是重 IO 操作必須記錄足夠的數(shù)據(jù)用于排查記錄每次上傳的 uploadId、文件名、文件大小、分片數(shù)。記錄每個(gè)分片的上傳耗時(shí)、重試次數(shù)。記錄合并的起止時(shí)間、最終文件路徑。監(jiān)控臨時(shí)分片目錄的占用空間定時(shí)清理過(guò)期分片。6.5 前端體驗(yàn)優(yōu)化大文件計(jì)算 MD5 會(huì)阻塞主線程建議使用 Web Worker 在后臺(tái)線程計(jì)算。上傳進(jìn)度條要綜合“當(dāng)前已上傳分片”和“總文件大小”來(lái)計(jì)算而不是簡(jiǎn)單按照最后一次請(qǐng)求的進(jìn)度。失敗時(shí)提供手動(dòng)重試和自動(dòng)重試按鈕自動(dòng)重試次數(shù)建議不超過(guò) 3 次。頁(yè)面刷新后要能恢復(fù)上傳進(jìn)度這是斷點(diǎn)續(xù)存在用戶層的直觀體現(xiàn)。6.6 面試官更看重什么面試中問(wèn)到大文件上傳面試官真正想考察的是是否理解分片上傳的核心思路。是否考慮過(guò)失敗恢復(fù)也就是斷點(diǎn)續(xù)傳。是否考慮過(guò)存儲(chǔ)、內(nèi)存、并發(fā)的邊界情況。是否知道對(duì)象存儲(chǔ)的 Multipart Upload 用法。是否能結(jié)合業(yè)務(wù)場(chǎng)景選擇合適的方案?；卮饡r(shí)可以先用一句話總結(jié)方案再展開(kāi)講分片邏輯、斷點(diǎn)續(xù)傳實(shí)現(xiàn)、秒傳判斷、合并流程最后補(bǔ)充 OOM、順序錯(cuò)亂、多實(shí)例等問(wèn)題。這樣能體現(xiàn)出系統(tǒng)思維。7. 總結(jié)與學(xué)習(xí)路線這篇文章圍繞“大文件上傳與斷點(diǎn)續(xù)傳”展開(kāi)完整介紹了分片上傳、斷點(diǎn)續(xù)傳、秒傳三者的關(guān)系拆解了分片大小、已上傳分片記錄、服務(wù)端合并、并發(fā)控制等核心原理并給出了一個(gè)基于 Spring Boot 和原生前端的完整實(shí)戰(zhàn)示例。如果你準(zhǔn)備面試建議按以下順序建立知識(shí)體系先能用代碼實(shí)現(xiàn)一個(gè)最簡(jiǎn)單的分片上傳。再在此基礎(chǔ)上加入已上傳分片查詢實(shí)現(xiàn)斷點(diǎn)續(xù)傳。接著加入 MD5 秒傳判斷。然后嘗試把上傳狀態(tài)從內(nèi)存遷移到 Redis。最后學(xué)習(xí) MinIO 或 OSS 的 Multipart Upload理解生產(chǎn)級(jí)方案。學(xué)完這些之后你還可以繼續(xù)探索分片上傳的進(jìn)度恢復(fù)、后端合并的并行優(yōu)化、對(duì)象存儲(chǔ)的預(yù)簽名 URL、前端 Web Worker 計(jì)算大文件哈希等進(jìn)階話題。每一步都有很多細(xì)節(jié)值得深挖但掌握了基礎(chǔ)鏈路之后再看這些高級(jí)方案會(huì)輕松很多。如果文章對(duì)你有幫助建議收藏備用動(dòng)手敲一遍代碼比只看不練效果好得多。