L'histoire des débuts de la résidence de Greenleaf Houlton est quelque peu incertaine. On suppose qu'elle a été construite au début du XIXe siècle et qu'il s'agissait peut-être d'une écurie dotée d'un toit en bâtière droit et ininterrompu, plutôt que de la résidence à deux pignons avant que l'on connaît aujourd'hui.

On sait cependant que la résidence a été acquise par Greenleaf Houlton en 1858. Greenleaf était né en 1825 à Houlton, dans le Maine, fondée par son père James Houlton. Charpentier, Greenleaf s'est installé à St. Andrews vers 1854 pour trouver du travail sur le chemin de fer. Au cours de sa carrière, il a breveté un nouveau type de boîte d'essieu pour wagons et a personnellement modifié le toit de ce bâtiment pour lui donner ses deux pignons asymétriques caractéristiques. Il était également membre du consulat américain. Andrews à McAdam en 1884 incita Greenleaf à s'installer à San Francisco, où il mourut en 1891.

L'histoire de la résidence Greenleaf Houlton est étroitement liée à celle du célèbre hôtel Algonquin, situé de l'autre côté de la rue. Lors de la construction de l'hôtel, quatre cottages ont été construits autour de la propriété, ce bâtiment étant parfois appelé le chalet no 5. Ce bâtiment servait à la fois de résidence au directeur général de l'hôtel Algonquin et de bureau pour l'hôtel.

En termes d'architecture, la résidence de Greenleaf Houlton combine des caractéristiques néo-gothiques et coloniales hollandaises. Le bâtiment est coiffé d'un toit en bâtière avec deux pignons croisés, dont l'un est nettement plus grand que l'autre. Le fenêtrage est asymétrique et varié, avec une seule fenêtre gothique sous le plus petit pignon.