No território integrante do município de Conceição de Coité, existia uma fazenda cujo proprietário era o Senhor Antônio Militão Rodrigues.
Nesta propriedade existia uma cajazeira, em redor da qual se abatia gado todos os domingos, isto atraiu pessoas de localidades vizinhas que começaram a fixar-se nas terras.

Os descendentes do proprietário iniciaram a construção de casas residenciais e comerciais ao redor da cajazeira, assim atraindo novos moradores. Formou-se o povoado Retiro.

Em 1951, já bastante desenvolvido, seus moradores resolveram mudar a denominação para Retirolândia. Criou-se a vila em 1953, e a sede distrital recebeu foro de cidade em 1962.