La résidence Usher H. Miller est située dans la zone de préservation de l'avenue Douglas. Cette zone protégée a été construite au milieu des années 1850 et reliait Main Street au nouveau pont suspendu de Reversing Falls. Elle faisait partie de la ville de Portland avant sa fusion avec Saint John en 1889. Le quartier est reconnu pour l'intégration des citoyens de la classe ouvrière, de la classe moyenne et de la classe supérieure, ainsi que pour sa communauté richement interconnectée, ce qui est dû en partie aux vastes pelouses à l'avant des propriétés locales.

La rue Alexandra, où se trouve cette résidence, s'est détachée de l'avenue Douglas en 1910 pour profiter de l'augmentation de la circulation due à l'avènement des véhicules motorisés. Elle abrite un ensemble de résidences élaborées de style Arts and Crafts et post-victorien.

La résidence Usher H. Miller fut l'une des nombreuses résidences construites lors du développement initial de la rue Alexandra. Ses premiers occupants, Parker Baker et Howard Ellis, n'y vécurent que peu de temps. En 1918, la maison est devenue la propriété d'Usher H. Miller, qui y est resté jusqu'à sa mort en 1951. Miller travaille dans la fabrication de bois de charpente et de chaux de 1908 à 1917, et est en outre transitaire pour des expéditeurs de foin et d'aliments pour animaux vers les Antilles de 1915 à 1925.

Au cours de sa vie, Miller s'est impliqué dans un certain nombre de causes sociales. De 1919 à 1944, il est secrétaire-trésorier du New Brunswick Protestant Orphans Home. Au cours de son mandat, il supervise la construction d'un orphelinat sur le chemin Manawagonish et la fusion de deux orphelinats. M. Miller est également le deuxième président de l'histoire de la Children's Aid Society, qu'il développe considérablement au cours de ses nombreuses années à ce poste, et il est le directeur de longue date de la Family Welfare Association.