Aavasaksa sijaitsi nykyisen Pohjolankadun päässä. Kansan suussa syntyneen nimen pohjana ilmeisesti talon sijainti korkealla mäen päällä, josta saattoi seurata kesäisen auringon liikettä taivaanrannalla kuten Yli-Tornion Aavasaksallakin. Talossa oli seitsemän asuntoa, joissa pääasiassa asui tehtaiden tai muiden laitosten työläisiä sekä käsityöläisiä. Talon edessä olivat korkeat suuret portaat, jotka toimivat asukkaiden ja naapuruston ”yhteisenä olohuoneena”. Talon omisti Kiviniemen tilan legendaarinen isäntä, Eeva Joenpellon Lohja-sarjan isäntämiehellekin ominaisuuksia lainannut Hannes Kiviniemi. Kiviniemestä kerrotaan paljon tarinoita. Eräs niistä oli Aavasaksaankin liittyvä. Kiviniemen tapana oli itse käydä perimässä vuokrat monissa ympäri Lohjannummea sijaitsevissa vuokrataloissaan. Silloin hän oli arvokas autollaan ajava nahkasalkkua kantava herra. Toisaalta nuukana miehenä hän itse huolehti kiinteistöjensä huoltotöistä. Niinpä vuokralaiset saattoivat seuraavan kerran nähdä hänet sontakärryjen ohjaksissa kuljettamassa käymälöiden alta lapioimaansa arvotavaraa pelloilleen. Ohikulkumatkalla hän sitten ehkä pistäytyi pankissa hoitelemassa joitain tärkeitä ehkä koko Lohjaa ja sen kehitystä koskevia asioita, kuten vaikkapa Yhteislyseon uuden rakennuksen lainojen takauksia. Aavasaksan huvilan mukaan vanhat lohjalaiset tuntevat tämän mäen Aavasaksan mäkenä.