La résidence Olive est un bon exemple du type de bâtiments résidentiels construits à Saint John après le grand incendie de 1877. Érigée au 138, rue Princess par John Nugent en 1879, cette résidence en bois présente une architecture italianisante. Ce style est particulièrement visible dans la corniche en surplomb de la masse carrée, les entablements au-dessus des fenêtres symétriques et l'entrée centrale avec une porte en bois et une fenêtre unique au-dessus.

À l'origine, John Nugent vivait ici avec sa femme. Après la mort de Nugent dans les années 1890, sa veuve autorisa Charles F. Olive à vivre avec elle. Entre Charles et son fils Otty, la famille Olive restera dans cette résidence pendant plus de 70 ans. En 1874, Charles devient l'un des membres fondateurs des Mutuals, la première équipe de baseball de Saint John. L'équipe, composée de Charles et de plusieurs de ses amis, a contribué à introduire ce sport dans la région. En outre, Charles a longtemps été commis à la Long Room de la Custom House, et il a ensuite travaillé comme rédacteur en chef des expéditions, reporter et correcteur d'épreuves pour certains journaux locaux de Saint John.

Après la mort de Charles en 1916, son fils Otty a hérité de la résidence. Représentant d'une raffinerie de sucre, Otty a vécu ici jusqu'à sa propre mort dans les années 1960.