En 1684, François-Marie Perrot vend sa seigneurie à Charles LeMoyne qui décède l’année suivante. En 1703, Joseph Trottier dit Desruisseaux et son épouse Françoise Cuillerier l’achètent de la succession de LeMoyne. Les nouveaux propriétaires décident de déplacer le domaine seigneurial vers la pointe sud-est de l’île Perrot, appelée aujourd’hui Pointe-du-Moulin. En effet, dès 1705, ils y construisent leur manoir.
Deux ans plus tard, soit en 1707, c’est le maître maçon Jean Mars qui a érigé la structure de pierres pour 700 livres. L’année suivante, le maître charpentier Léonard Paillé dit le Paillard a terminé la charpente et l’installation des mécanismes du moulin. Ces mécanismes qui permettront de faire pivoter le toit porteur et ses ailes afin de suivre la direction du vent.
