The namesake of Rotsoort is the family Van Oort, who had their
De naam is ontleend aan de familie Van Oort die hun buitenplaats uit 1702 (het zuidelijk gedeelte van het terrein van de huidige Pastoe) had gedecoreerd met blauwzwarte (door te grote hitte in de oven gesmolten en daardoor onverkoopbare) steen. Het octrooi en productie van imitatie-marmer bracht hen grote rijkdom.
Met door paarden aangedreven slijpmolens werd de bovenzijde van de gemarmerde vloertegels extra glad gemaakt. Het eerste eigendom per 1668 was hofstede Rotswijk waarvan de windmolen werd afgebroken (hoek huidige Rotsoord/Diamantweg, vh. de Hoogravensdijk). Richting stad werd nog een nieuw buiten gebouwd: het Rotsenburg. Daar heeft ondermeer Willem Roelofs zijn jeugd doorgebracht: een later internationaal gewaardeerd schilder, behorend tot de Haagse School. Ander beroemd bewoner was uitvinder Abraham Keer die onder meer als tweede in Europa het luchtruim koos met een hete luchtballon. Vanaf de Rijndijk (huidige Jutfaseweg) deed het panorama sterk denken aan de grootste buitenplaatsen aan de Vecht. De productielocaties en de arbeiderswoningen waren aan het zicht onttrokken.