Më 13 tetor të vitit 1792, presidenti George Washington vendosi në mënyrë ceremoniale gurin e parë në themelin e ndërtesës, e cila do të bëhej rezidenca zyrtare e presidentëve të Shteteve të Bashkuara.
Arkitekt i ndërtesës, e cila u quajt ”Pallati i Presidentit”, ishte emigranti irlandez, James Hoban. Ndihmësi tij ishte Benjamin Latrobe nga Pensilvania.
Projekti ishte i ngjashëm me Pallatin e Dukës së Leinsterit, në Irlandë. Presidenti i dytë i Shteteve të Bashkuara, John Adams, ishte banori i parë i Shtëpisë së Presidentit në vitin 1800.
Që nga ajo kohë, të gjithë presidentët amerikanë kanë jetuar në këtë rezidencë. Ndërtesa origjinale u dogj nga trupat britanike gjatë luftës së vitit 1818.
Pasi u rindërtua dhe James Hoban urdhëroi që ndërtesa të lyhej me të bardhë, asaj iu dha emri që ka sot, ”Shtëpia e Bardhë”.
Shtëpia e Bardhë është ndërtesa më e lashtë publike e Washingtonit. Ajo shërben jo vetëm si shtëpi banimi dhe zyrë e presidentit, por edhe si muzeum i presidentëve amerikanë. Çdo vit Shtëpia e Bardhë vizitohet nga rreth 1 milionë e gjysmë turistë.