突破Excel百萬數(shù)據(jù)導(dǎo)出瓶頸:全鏈路優(yōu)化實(shí)戰(zhàn)指南
當(dāng)前位置:點(diǎn)晴教程→知識管理交流
→『 技術(shù)文檔交流 』
在日常工作中,Excel數(shù)據(jù)導(dǎo)出是一個(gè)常見的需求。 然而,當(dāng)數(shù)據(jù)量較大時(shí),性能和內(nèi)存問題往往會成為限制導(dǎo)出效率的瓶頸。 當(dāng)用戶點(diǎn)擊"導(dǎo)出"按鈕時(shí),后臺系統(tǒng)往往會陷入三重困境:
我們結(jié)合 EPPlus、MiniExcel 和 NPOI 的 C# 高性能 Excel 導(dǎo)出方案對比及實(shí)現(xiàn)研究一下怎么提高導(dǎo)出效率。 一、技術(shù)方案核心對比
二、各方案選型建議
三、性能對比數(shù)據(jù)
四、核心代碼實(shí)現(xiàn)1. MiniExcel 流式寫入(推薦方案)// 配置優(yōu)化參數(shù) var config = new OpenXmlConfiguration { EnableSharedStrings = false, // 關(guān)閉共享字符串表 AutoFilterMode = AutoFilterMode.None, // 禁用自動(dòng)篩選 FillMergedCells = false // 不處理合并單元格 }; // 分頁流式寫入 await MiniExcel.SaveAsAsync("output.xlsx", GetDataChunks(), configuration: config); IEnumerable<IDictionary<string, object>> GetDataChunks() { var pageSize = 50000; for (int page = 0; ; page++) { var data = QueryDatabase(page * pageSize, pageSize); if (!data.Any()) yield break; foreach (var item in data) { yield return new Dictionary<string, object> { ["ID"] = item.Id, ["Name"] = item.Name, ["CreateTime"] = item.CreateTime.ToString("yyyy-MM-dd") }; } } } 優(yōu)化點(diǎn)?:
2. EPPlus 混合寫入方案using (var package = new ExcelPackage()) { var sheet = package.Workbook.Worksheets.Add("Data"); int row = 1; // 批量寫入頭信息 sheet.Cells["A1:C1"].LoadFromArrays(new[] { new[] { "ID", "Name", "CreateTime" } }); // 分塊寫入(每50000行保存一次) foreach (var chunk in GetDataChunks(50000)) { sheet.Cells[row+1, 1].LoadFromCollection(chunk); row += chunk.Count; if (row % 50000 == 0) { package.Save(); // 分段保存 sheet.Cells.ClearFormulas(); } } package.SaveAs(new FileInfo("output_epplus.xlsx")); } 3. 性能對比測試代碼[BenchmarkDotNet.Attributes.SimpleJob] public class ExcelBenchmarks { private List<DataModel> _testData = GenerateTestData(1_000_000); [Benchmark] public void MiniExcelExport() => MiniExcel.SaveAs("mini.xlsx", _testData); [Benchmark] public void EPPlusExport() { using var pkg = new ExcelPackage(); var sheet = pkg.Workbook.Worksheets.Add("Data"); sheet.Cells.LoadFromCollection(_testData); pkg.SaveAs("epplus.xlsx"); } [Benchmark] public void NPOIExport() { var workbook = new XSSFWorkbook(); var sheet = workbook.CreateSheet("Data"); for (int i = 0; i < _testData.Count; i++) { var row = sheet.CreateRow(i); row.CreateCell(0).SetCellValue(_testData[i].Id); row.CreateCell(1).SetCellValue(_testData[i].Name); } using var fs = new FileStream("npoi.xlsx", FileMode.Create); workbook.Write(fs); } } 五、混合方案實(shí)現(xiàn)1. EPPlus + MiniExcel 組合方案// 先用 EPPlus 創(chuàng)建帶樣式的模板 using (var pkg = new ExcelPackage(new FileInfo("template.xlsx"))) { var sheet = pkg.Workbook.Worksheets[0]; sheet.Cells["A1"].Value = "動(dòng)態(tài)報(bào)表"; pkg.Save(); } // 用 MiniExcel 填充大數(shù)據(jù)量 var data = GetBigData(); MiniExcel.SaveAsByTemplate("output.xlsx", "template.xlsx", data); 2. 分片異步導(dǎo)出方案public async Task ExportShardedDataAsync() { var totalRecords = 5_000_000; var shardSize = 100_000; var shards = totalRecords / shardSize; var tasks = new List<Task>(); for (int i = 0; i < shards; i++) { var start = i * shardSize; tasks.Add(Task.Run(async () => { using var stream = new FileStream($"shard_{i}.xlsx", FileMode.Create); await MiniExcel.SaveAsAsync(stream, QueryData(start, shardSize)); })); } await Task.WhenAll(tasks); MergeShardFiles(shards); } private void MergeShardFiles(int shardCount) { using var merger = new ExcelPackage(); var mergedSheet = merger.Workbook.Worksheets.Add("Data"); int row = 1; for (int i = 0; i < shardCount; i++) { var shardData = MiniExcel.Query($"shard_{i}.xlsx"); mergedSheet.Cells[row, 1].LoadFromDictionaries(shardData); row += shardData.Count(); } merger.SaveAs(new FileInfo("final.xlsx")); } 六、高級優(yōu)化策略1. 內(nèi)存管理配置// Program.cs 全局配置 AppContext.SetSwitch("System.Buffers.ArrayPool.UseShared", true); // 啟用共享數(shù)組池 // 運(yùn)行時(shí)配置(runtimeconfig.template.json) { "configProperties": { "System.GC.HeapHardLimit": "0x100000000", // 4GB 內(nèi)存限制 "System.GC.HeapHardLimitPercent": "70", "System.GC.Server": true } } 2. 數(shù)據(jù)庫優(yōu)化// Dapper 分頁優(yōu)化 public IEnumerable<DataModel> GetPagedData(long checkpoint, int size) { return _conn.Query<DataModel>( @"SELECT Id, Name, CreateTime FROM BigTable WHERE Id > @Checkpoint ORDER BY Id OFFSET 0 ROWS FETCH NEXT @Size ROWS ONLY OPTION (RECOMPILE)", // 強(qiáng)制重新編譯執(zhí)行計(jì)劃 new { checkpoint, size }); } 3. 異常處理增強(qiáng)try { await ExportDataAsync(); } catch (MiniExcelException ex) when (ex.ErrorCode == "DISK_FULL") { await CleanTempFilesAsync(); await RetryExportAsync(); } catch (SqlException ex) when (ex.Number == 1205) // 死鎖重試 { await Task.Delay(1000); await RetryExportAsync(); } finally { _semaphore.Release(); // 釋放信號量 } 七、最佳實(shí)踐總結(jié)?1、數(shù)據(jù)分頁策略?
// 優(yōu)化分頁查詢 var lastId = 0; while (true) { var data = Query($"SELECT * FROM Table WHERE Id > {lastId} ORDER BY Id FETCH NEXT 50000 ROWS ONLY"); if (!data.Any()) break; lastId = data.Last().Id; } ?2、內(nèi)存控制三位一體?
3?、異常處理金字塔 try { // 核心邏輯 } catch (IOException ex) when (ex.Message.Contains("磁盤空間")) { // 磁盤異常處理 } catch (SqlException ex) when (ex.Number == 1205) { // 數(shù)據(jù)庫死鎖處理 } catch (Exception ex) { // 通用異常處理 }
八、避坑指南常見陷阱?EPPlus的內(nèi)存泄漏 // 錯(cuò)誤示例:未釋放ExcelPackage var pkg = new ExcelPackage(); // 必須包裹在using中 pkg.SaveAs("leak.xlsx"); // 正確用法 using (var pkg = new ExcelPackage()) { // 操作代碼 } NPOI的文件鎖定 // 錯(cuò)誤示例:未正確釋放資源 var workbook = new XSSFWorkbook(); // 正確用法 using (var fs = new FileStream("data.xlsx", FileMode.Create)) { workbook.Write(fs); } 異常處理最佳實(shí)踐try { await ExportAsync(); } catch (MiniExcelException ex) when (ex.ErrorCode == "DISK_FULL") { _logger.LogError("磁盤空間不足: {Message}", ex.Message); await CleanTempFilesAsync(); throw new UserFriendlyException("導(dǎo)出失敗,請聯(lián)系管理員"); } catch (DbException ex) when (ex.IsTransient) { _logger.LogWarning("數(shù)據(jù)庫暫時(shí)性錯(cuò)誤,嘗試重試"); await Task.Delay(1000); await RetryExportAsync(); } finally { _exportSemaphore.Release(); } 九、典型場景建議?
通過合理的方案選擇和優(yōu)化配置,可實(shí)現(xiàn):
?轉(zhuǎn)自https://www.cnblogs.com/xiongze520/p/18866690 該文章在 2025/5/9 9:06:12 編輯過 |
關(guān)鍵字查詢
相關(guān)文章
正在查詢... |