荷蘭人於西元1624年，在安平建造了臺灣第一座城堡「熱蘭遮城」，也就是現在的安平古堡，這裡曾是荷蘭人統治的中樞，更是對外貿易的總樞紐，原本的建築格局分為方形內城與長方形外城。西元1661年，鄭成功驅離荷蘭人後，將此地改名為安平，故熱蘭遮城也稱為「王城」或「臺灣城」，俗稱安平古堡，是臺灣最早的一座城池。
清康熙年間，正式將臺灣納入版圖，政治中心移至府城內，進而逐漸喪失其價值。後來曾破壞城壁紅磚挪為建造億載金城之用，到了日據時期，內城荷式建築全毀，四周以紅磚砌成方形階臺，臺上建造西式平房作為海關宿舍。而成為今日的紀念館風貌，光復後改名為安平古堡，並成為一級古蹟和觀光勝地，目前紀念館邊殘存七十多公尺長的外城南牆殘壁依然屹立，老榕攀爬，紅磚班駁，是300餘年來僅存的歷史遺跡，訴說著曾經過往的滄桑。
