Pohjolanmäen historia alkaa noin vuonna 6500 eaa. Tuolloin se oli Anchylusjärven (Itämeren altaan silloinen vaihe) rantatörmää. Vanhin kartta Pohjolanmäestä on Kiviniemen kylän isojakokartta vuodelta 1765. Mäen alaosassa peltoalueet ”Backapeldo”, ”Hakankando” sekä humalatarha, johon liittyy myös vanha rajamerkki ”Tapporån” (sana ”tappo” tarkoittaa aidattua peltoa, usein varsinkin humalatarhaa). Ilmeisesti mäki oli tuolloin Kiviniemen kylän talojen laiduinmaata sekä kotipeltojen aluetta. Kallioperästä oli louhittu ehkä jo keskiajalta alkaen kalkkia talojen tarpeisiin, kansanperinteen mukaan myös Lohjan kirkon muuraustöihin.