O edifício foi construído 1846 pelo armador português Manoel Baltazar da Cunha Fortes. A construção é uma versão litorânea da arquitetura urbana que começava a aparecer, na Europa, riquíssima em detalhes arquitetônicos.

Foto: © Miguel Angeal		Foto: © Jabá e Tuca

Além de morada de Baltazar Fortes, o Casarão funcionava comercialmente como mercado alfandegário. Por ele passavam produtos de toda a região que seguiam exportados e as importações eram recebidas e armazenadas.

Entretanto, todo o tráfego que movimentava o porto de Ubatuba foi desviado para Santos, com a construção da estrada de ferro que interligou São Paulo ao Rio de Janeiro ao longo do Vale do Paraíba. Nesta época deu-se a falência do Banco de Taubaté, que apoiava o grupo interessado na construção de um ramal ferroviário que ligaria Ubatuba a Taubaté, no Vale do Paraíba. Ubatuba encerra assim suas atividades portuárias e exportadoras.

Por volta de 1890 a família de Baltazar Fortes muda-se para o Rio de Janeiro deixando o prédio abandonado.

O Casarão ficou fechado durante um longo período. Júlio Kerkis, húngaro refugiado do regime comunista, chega em Ubatuba em 1926 e transforma o Casarão em hotel e restaurante. Mais tarde (1936) é comprado por Félix Guisard, industrial de Taubaté, que o utilizou como residência de veraneio.

Com entrada independente para o andar superior, o salão térreo foi transformado em pontos comerciais. Funcionou como Casa da Lavoura e loja de artesanato.

Na administração Benedito Rodrigues Pereira Filho (1983) houve a desapropriação do prédio, que já havia sido tombado como Patrimônio Histórico anteriormente (1959). O prefeito Pedro Paulo Teixeira Pinto promove a sua restauração e cria, em 1987, a Fundação de Arte e Cultura de Ubatuba - FUNDART, atualmente abrigada no Casarão do Porto.