La résidence Potts a été construite en 1884 sur la rue Charlotte à Saint John. Comme beaucoup de bâtiments résidentiels construits dans les années qui ont suivi le grand incendie de Saint John de 1877, elle est un exemple du style italianisant. Ce bâtiment rectangulaire en brique présente une corniche ornementale à l'avant-toit, un fenêtrage régulier et une fenêtre en baie décentrée.

Les constructeurs et premiers propriétaires du bâtiment étaient Benjamin F. Potts et son épouse, Amelia E. Potts. Benjamin était le collecteur des péages du City Market depuis 1872. Il était également le locataire du bâtiment original du marché jusqu'à ce qu'il soit remplacé par le marché actuel vers 1876. À ce titre, il était un membre éminent et respecté de la communauté. Après le décès de M. Potts en 1889, Mme Potts est restée propriétaire de la résidence jusqu'à sa propre mort en 1924.

En outre, pendant qu'elle occupait la résidence, la famille Potts a loué des parties du bâtiment à des fins diverses. La liste des locataires comprend le banquier et courtier D. Carlton Clinch, ainsi que Freeman W. Wisdom, qui exploite une entreprise de raccords à vapeur sur Dock Street. En 1896, le docteur L.A. McAlpine utilisa sa partie du bâtiment pour y installer un cabinet médical et, dans les années 1910, le docteur Ernest R. Sewell y tint un cabinet de dentiste.