Paar aastat hiljem koliti Nõmme rajaja Nikolai von Glehni asutatud vana vorstivabriku ruumidesse, kus asub praegune Nõmme Muusikakool. Linna kasvades jäi koolimaja kitsaks vaatamata sellele, et algkoolid olid ehitatud juba Hiiule ja Kivimäele. 1935. a. detsembris avati pidulikult Nõmme 6-klassilise Algkooli hoone praegusel Vabaduse puiesteel. Koolis oli siis 13 klassikomplekti, kus õppis 350 õpilast ning töötas 18 õpetajat. Tööle asuti kahes vahetuses.
1943. ja 1944. aastal töötas kool lühendatud tundidega kolm päeva nädalas kolmes vahetuses. Maja pidi ära mahutama kõik Nõmme õpilased. 1944. aasta alguses muutsid sakslased koolimaja sõjaväehaiglaks. Õpilased hajutati üle Nõmme juhuslikesse ruumidesse. Sama aasta sügisel tõi Tallinna hõivamine nõukogude vägede poolt õppetöö tagasi kooli ja oktoobris alustati õppimisega.
1962. aastal eraldati koolile raha kapitaalremondiks. Tekkis mõte teha koolile juurdeehitus ning juba 1963. aasta septembris algas õppetöö ka uue osa ruumides. Koolimaja oli nüüd märksa avaram, oli ehitatud juurde neli klassiruumi. 1965. aasta lõpul valmisid saal, duši- ja riietusruumid ning laiendati riietehoidu.
1985. aasta 24. veebruari varahommikul koolimaja süttis. Lühikese ajaga levis tuli hoone põhikorpuses. Alles kahekümne minuti pärast kohale jõudnud tuletõrjujad ei suutnud enam midagi päästa. Vana puitmaja põles tuhaks. Juurdeehitus küll säilis, kuid ruumide sisustus oli rikutud. Samal päeval toimus nõupidamine ning otsustati, et kool jääb püsima ning hakkab ajutiselt tööle teiste koolide juures. Vanemad klassid asusid õppetööd Tallinna 20. Keskkoolis ja nooremad Tallinna 30. Keskkoolis juba 26. veebruaril kahes vahetuses.
Järgmist õppeaastat loodeti alustada uues koolis, nagu eelnevalt lubatud. Kahjuks ei valminud 1. septembriks 1985 uus koolihoone, õppetöö jätkus endiselt võõrsil. 30. juunil 1986. aastal lõpetati koolimaja ehitus ning 1. septembrist 1986 võis koolitöö alata.
Igapäevase töö käigus sai selgeks, et kooliperel tuleb rinda pista kiirustamisest ja ehitustöö halvast kvaliteedist tingitud muredega. Peagi hakkasid ka ruumid kasvavale kooliperele kitsaks jääma. Maja projekteeriti algselt umbes 230 õpilasele. Enim õpilasi oli Rahumäe koolis 1998/99. õppeaastal, 706 õpilast, mis jäi ka rekordiks.
2002. aastal otsustati maja kapitaalremondi kasuks ning 2005. aasta detsembrist läks ehitus lahti, taaskord oli meie koolipere sunnitud kolima. 2005/06. õppeaasta möödus tolleaegses Pääsküla Gümnaasiumis (tänane Pääsküla Kool).
Septembris 2006 taasavati Rahumäe Põhikooli täielikult renoveeritud hoone.