O imóvel foi construído em 1920 para ser sede do Banco do Brasil, justamente no coração comercial da cidade na época. Com dois pavimentos, é uma sólida construção, e também aliou o estilo neoclássico ao eclético, com destaque para seu amplo salão térreo sustentado na parte central, por duas imponentes colunas com capitéis bastante trabalhados. O banco ocupou o andar térreo e o andar superior serviu como residência até a década de 60.
Após a mudança do banco, o local foi utilizado apenas como residência e o proprietário, senhor Aldamir Pinto Rezende, não mediu esforços para a preservação do mesmo. As reformas realizadas não retiraram a imponência do conjunto.
No ano 2000, passou a funcionar no prédio o museu municipal. O acervo, no térreo, consta de roupas antigas, fotografias, e objetos diversos. Na parte superior funciona um espaço para exposições temporárias.
O museu publica periodicamente um jornal informativo, chamado "O Binóculo"; a instituição recebe, em média, 150 visitantes por mês.
O Museu de Varginha localiza-se à Praça Matheus Tavares, no centro, e funciona de segunda a sexta-feira, de 12h às 18h e aos sábados de 09h às 14h. A entrada é franca.