Hvittorpin rakennutti yksityishuvilakseen FM Robert Emil Westerlund. Hän oli oululainen apteekkari joka myi apteekkinsa, muutti Oulusta Helsinkiin, jossa perusti musiikkiliikkeen. Hän eli vuosina 1859-1922. Huvila rakennettiin vuosisadan vaihteessa (arvio 1901-1904).
Suunnittelijoina olivat Herman Geselius (1874-1916), professori Armas Lindgren (1874-1929) ja Eliel Saarinen (1873-1950). Linna Edustaa Jugend-tyyliä.
Talvisodan aikana osa Ruotsin suurlähetystöä oli sijoitettuna Hvittorpiin.
Muina omistajina ovat olleet:
- Ravintoloitsija Alexsander Napoleon Brenner 4.8.1914 alkaen
- Liikemies Aleko August Eugen Lilius 12.8.1916 alkaen
- Varatuomari Gustaf Westerlund 12.6.1918 alkaen
- Pankinjohtaja Alfred Norrmen 16.9.1921 alkaen
- Insinööri Alvar Urban Bergroth 21.5.1940 alkaen
- Erik Blomberg ja Mirjam Kuosmanen 1961 alkaen
- Espoon Seurakunta 4.1.1963 alkaen
Hvittorpin kokonaispinta-ala on 13.5 ha. Puistoa siitä on n. 8 ha. Puistossa on useita harvinaisia kasvilajeja
