Området ved Berg interneringsleir har vært utnyttet av mennesker siden de første menneskene kom til området, noe alle gravfeltene, dyrkingssporene og stolpehullene vitner om. Sporene fra bronse- og jernalder er så mange og omfattende, at tyskerne brukte dette som et argument for å få lagt ned leiren under krigen. Blant ledende tyskere, slik som reichskomissar Josef Terboven og SS-Obergruppenfûhrer Wilhelm Rediess, var ikke dette initiativet fra Nasjonal Samling noe som var spesielt populært. De forsøkte i 1943 å få leiren nedlagt, men mislyktes. For tyske nazister som var opptatt av nordmennenes «ariske røtter» var frykten for å ødelegge kulturminner fra vikingtiden et argument som kunne bli benyttet, noe også Rediess gjorde. Han fryktet at leiren og aktivitetene rundt kunne ødelegge kulturminnene ved Berg gård. Men det lot seg ikke å stoppe interneringsleiren for motstandere av Quisling og nyordningen av Norge.
For Nasjonal Samling og Vidkun Quisling var norsk norrøn historie sentralt i partiets syn på norsk historie og nyordningen av det norske samfunnet etter partiets linjer. Og Borreparken med sine mektige gravhauger sto sentralt i partiets markeringer før og under krigen gjennom de årlige Borrestevnene. Det var også der ideen om en fangeleir utenfor Tønsberg ble proklamert offentlig i mai 1942. Vidkun Quisling så seg og partis rolle i kontekst med norsk historie og statsdannelse i vikingtiden.
Arkeologen Anton Wilhelm Brøgger ledet utgravinger av et større gravfelt nord for «Det hvite hus» på Berg i 1919, og de fant en rekke gjenstander under utgravingene. Det var nye utgravinger i 1949 og 1950. På kulturminnesøk kan du lese og og se alle fornminnene som er registrert i og ved leiren. Det ble foretatt en ny kulturminneregistrering i 2015 i forbindelse med anleggelsen av Bergstien.