VC++中使用內存映射文件處理大文件 （1）

摘要： 本文給出了一種方便實用的解決大文件的讀取、存儲等處理的方法，并結合相關程序代碼對具體的實現過程進行了介紹。 

引言 

文件操作是應用程序最為基本的功能之一，Win32 API和MFC均提供有支持文件處理的函數和類，常用的有Win32 API的CreateFile()、WriteFile()、ReadFile()和MFC提供的CFile類等。一般來說，以上這些函數可以滿足大多數場合的要求，但是對于某些特殊應用領域所需要的動輒幾十GB、幾百GB、乃至幾TB的海量存儲，再以通常的文件處理方法進行處理顯然是行不通的。目前，對于上述這種大文件的操作一般是以內存映射文件的方式來加以處理的，本文下面將針對這種Windows核心編程技術展開討論。 

內存映射文件 

內存映射文件與虛擬內存有些類似，通過內存映射文件可以保留一個地址空間的區域，同時將物理存儲器提交給此區域，只是內存文件映射的物理存儲器來自一個已經存在于磁盤上的文件，而非系統的頁文件，而且在對該文件進行操作之前必須首先對文件進行映射，就如同將整個文件從磁盤加載到內存。由此可以看出，使用內存映射文件處理存儲于磁盤上的文件時，將不必再對文件執行I/O操作，這意味著在對文件進行處理時將不必再為文件申請并分配緩存，所有的文件緩存操作均由系統直接管理，由于取消了將文件數據加載到內存、數據從內存到文件的回寫以及釋放內存塊等步驟，使得內存映射文件在處理大數據量的文件時能起到相當重要的作用。另外，實際工程中的系統往往需要在多個進程之間共享數據，如果數據量小，處理方法是靈活多變的，如果共享數據容量巨大，那么就需要借助于內存映射文件來進行。實際上，內存映射文件正是解決本地多個進程間數據共享的最有效方法。 

內存映射文件并不是簡單的文件I/O操作，實際用到了Windows的核心編程技術--內存管理。所以，如果想對內存映射文件有更深刻的認識，必須對Windows操作系統的內存管理機制有清楚的認識，內存管理的相關知識非常復雜，超出了本文的討論范疇，在此就不再贅述，感興趣的讀者可以參閱其他相關書籍。下面給出使用內存映射文件的一般方法： 

首先要通過CreateFile()函數來創建或打開一個文件內核對象，這個對象標識了磁盤上將要用作內存映射文件的文件。在用CreateFile()將文件映像在物理存儲器的位置通告給操作系統后，只指定了映像文件的路徑，映像的長度還沒有指定。為了指定文件映射對象需要多大的物理存儲空間還需要通過CreateFileMapping()函數來創建一個文件映射內核對象以告訴系統文件的尺寸以及訪問文件的方式。在創建了文件映射對象后，還必須為文件數據保留一個地址空間區域，并把文件數據作為映射到該區域的物理存儲器進行提交。由MapViewOfFile()函數負責通過系統的管理而將文件映射對象的全部或部分映射到進程地址空間。此時，對內存映射文件的使用和處理同通常加載到內存中的文件數據的處理方式基本一樣，在完成了對內存映射文件的使用時，還要通過一系列的操作完成對其的清除和使用過資源的釋放。這部分相對比較簡單，可以通過UnmapViewOfFile()完成從進程的地址空間撤消文件數據的映像、通過CloseHandle()關閉前面創建的文件映射對象和文件對象。 

原文轉自：http://www.anti-gravitydesign.com