Há comentário de que a ruína do casarão da sede da fazenda abrigou um convento jesuíta. Talvez essa hipótese esteja embasada no fato de existir um cadastro de terras de 1817 em que consta como herdeiro do casarão o padre Afonso da Costa. Mas o que se sabe mesmo é que quando as sesmarias puderam ser vendidas a estrangeiros, o francês João Agostinho Stevenée adquiriu as terras de Brigimirinduba com o objetivo de abrigar ali um engenho de aguardente, açúcar mascavo e, no futuro, uma escola modelo, formando, assim, 100 proprietários em franco estado de criar, com toda segurança, iguais estabelecimentos para dar qualidade ao produto de exportação, pois que usavam uma nova técnica que consistia em clarificar e descolorar o suco de cana ao levá-la para a destilação com carvão animal, provindos de carneiros merinós, uma novidade na província. Tudo isso porque encontrou uma infra estrutura quase pronta para facilitar esse processo.

O edifício do engenho encontra-se a aproximadamente um quilometro do mar, mata adentro. Um sobrado em alvenaria de pedra e cal, com engenho de moagem no andar térreo e residência no andar superior. Cobertura de madeira e telhas de barro, piso de assoalho de madeira, um pátio do lado direito e um arrimo natural contendo, pelo lado externo, a escada de acesso ao sobrado. Do lado esquerdo, um aqueduto com pilares em alvenaria de pedras e arcos de tijolos que indica o lugar da roda d'água.

Ainda fazendo parte deste complexo de ruínas, sobraram 3 pilastras do que poderia ter sido a primeira fábrica de vidros no Brasil. Apesar de não se haver registro deste fato, ele é comentado lendariamente. Separadas pela BR-101, estão de pé, essas pilastras, com a mesma manufatura em pedra e cal. Fazem parte de um conjunto de 8 pilares de um edifício retangular medindo 18 metros de largura por 50 ou 60 metros de comprimento. O que indica que poderia ter sido mesmo de uma fábrica. E o pé direito, de quase 6 metros, pouco usado para residência nas construções, é do final do século XVIII para o século XIX. Contam que a fábrica não chegou a produzir, pois era Portugal que detinha o monopólio da confecção e do abastecimento de vasilhames de vidro. Não tinha cabimento uma concorrente na sua colônia e, por isso, houve o embargo, e tudo ficou no esquecimento.

O historiador Washington de Oliveira - Seu Filhinho -, por sua vez, cita, em um de seus livros, o Capitão Romualdo como tendo sido, há 100 anos, o último proprietário da Fazenda Bom Retiro. Esse capitão tinha a peculiaridade de tratar muito bem seus escravos. Criando, aí, uma relação patriarcal. Todos os escravos trabalhavam na obrigação de agradar o seu senhor, sem nada exigir, por gosto. Devido à sua bondade, mesmo depois da abolição, todos continuaram com ele até sua morte. Em conseqüência disso, sua mulher, Mariana, veio a enlouquecer e abandonar tudo.

Em 1986, foi tombado como Engenho Bom Retiro da Estância de Ubatuba pelo CONDEPHAT. Colaboraram para isso o espeleólogo francês Guy Collet, a Sociedade Amigos da Lagoinha, a Prefeitura de Ubatuba e a Secretaria da Cultura do Estado de São Paulo. Para surpresa de todos, em 19 de outubro de 1989, o senhor Jamil Zantut e outros proprietários doaram as Ruínas da Lagoinha para a Fundação de Arte e Cultura de Ubatuba, FUNDART.

Diz a lenda que o espírito de fraternidade do Capitão Romualdo está entremeado nas pedras e nos matos que envolvem o que restou do casarão, disposto a habitar o coração de quem visita as Ruínas da Lagoinha.