O Castelo do Queijo ou Castelo de São Francisco Xavier, construído no século XV, é uma pequena fortificação defensiva, situada na Praça Gonçalves Zarco. Desde tempos imemoriais que se diz que o enorme rochedo onde o castelo foi construído era um lugar sagrado para os Draganes, tribo Céltica que veio para a Península Ibérica seis séculos antes de Cristo.
Composto por delineamento angular, amplas plataformas de tiro, grossíssimas paredes, ausência de torres, com fossos para a terra firme, uma imponente porta levadiça, etc. todo este conjunto arquitectónico faz deste castelo uma bela obra de arte. Do lado norte, encontra-se ainda o escudo das armas portuguesas.
Nele existiu, em tempos, um oratório dedicado a São Francisco Xavier, que estava colocado na sala da casa principal do Castelo.
Apesar de o seu nome oficial ser Forte de S. Francisco Xavier, por estar assente nuns rochedos em forma de queijo, adoptou-se o nome de Castelo do Queijo.
Este Castelo foi utilizado pelas forças de D. Miguel, que dali bombardearam as tropas liberais comandadas por D. Pedro. Na fachada Norte pode ver-se o escudo das armas portuguesas.
Pertence à Associação de Comandos, Delegação do Norte e é actualmente utilizado como palco de eventos culturais e de animação. Situado logo após o Parque da Cidade, constitui um dos melhores pontos da cidade para se observar o pôr-do-sol.
