Durante três séculos, o monumento foi habitado por 10 gerações da família Garcia D’ávila e foi palco de um dos maiores acontecimentos da época. A construção foi iniciada pelo primeiro Garcia D’ávila, um jovem empreendedor, que possivelmente era filho do Governador Geral, Tomé de Souza. Em 20 anos, ele se tornou o homem mais rico da colônia. A sede de suas terras, o Castelo em Tatuapara, defendia o litoral norte contra as tentativas de invasões, principalmente dos holandeses e franceses.