C# 讀取超大檔案方式

Purpose:

在專案中, 有一需求是去搜尋一些500MB個別檔案重複資料, 嘗試了很多讀取檔案的方式. 最後試出來最快的方法.

Method:

using System.IO;

string strLine;

const int MAX_BUFFER = 33554432; //32MB 

using (FileStream fs = File.Open(csvFile, FileMode.Open, FileAccess.Read))
using (BufferedStream bs = new BufferedStream(fs, MAX_BUFFER)) 
using (StreamReader sr = new StreamReader(bs))
{  

    while (!sr.EndOfStream)
   {

        while ((strLine = sr.ReadLine()) != null)
       {

               //---處理資料
        }

    }

    sr.Close();
    sr.Dispose();

}

希望對你們有幫助!!