Esbern Snares Borg er bygget i perioden år 1160 til 1170. Der har sandsynligvis være et forsvarsværk, måske bestående af træpalisader som Trelleborgene, før Vestborgen, men dette er ikke påvist endnu. Allerede før Vestborgen blev bygget, hed denne del af fjorden Hærvig og blev brugt af Vikingekonger til havn for ledingsflåden.
Ringmuren og hans bolig i Vestfløjen blev bygget af kampesten og ikke af tegl (munkesten), som bymuren og Østborgen senere blev.
Der var flere bygninger i Vestborgen. Langs den sydlige mur har der været 2 bygninger fra 1200-tallet. I kælderen under den ene bygning, var der et varmesystem som også kendes fra bygninger i romerriget, en såkaldt Hypokaust. Om rummet med gulvvarme blev brugt til badstue eller et andet luksusformål, vides ikke. tilsvarende Hypokaust er også fundet på Hammershus og på borgruinen Tårnborg ved Korsør.
Vestborgen
Man kender ikke det præcise årstal for opførelsen af Vestborgen i Kalundborg, men Saxo skriver, at der ”på den tid” – altså da borgen blev bygget – var alvorlige trusler mod det danske rige fra både venderne, nordmændene og sakserne (det vil sige tyskerne), og ud fra den sammenhæng, citatet indgår i, kan vi formode, at Vestborgen blev bygget i 1160’erne, sandsynligvis i anden halvdel af dette årti, og måske kun kort tid før 1170.
Da man ved udgravninger vest for Lindegården i 1907 fandt rester af en borg fra ældre middelalder, blev den da også straks kendt som Esbern Snares borg.

Saxo fortæller andetsteds i sit værk lidt mere om Kalundborg og Esbern, nemlig at en vis Kong Hake Haarmundssøn (en person fra Vikingetiden eller tidligere) ”samlede sin flåde i den havn, der på dansk hedder Hærvig, landsatte sine krigere og opstillede hæren på det sted hvor nu Esbern har bygget en borg der med sine fæstningsværker kan beskytte omegnens befolkning og holde de vilde barbarer borte.” Og i året 1199 er Esbern Snare omtalt i et retsdokument som ”Herr Esbern af Kalundborg”.
Esbern var sammen med sin lillebror, biskop Absalon og kong Valdemar Den Store frontfigurerne i de danske korstog i Østersøen i 1100-tallet.
Byen var et vigtigt knudepunkt for disse korstog. Efter Esbern Snares død overgik borgen til hans datter, “Fru Ingeborg af Kalundborg”, der var gift med den ansete drost Peder Strangesøn (død 1241), og som senere beskyldtes for at have sluttet sig til kong Valdemars fjender, hvorfor Kalundborg blev inddraget under kronen i 1262.
I de næste år forfaldt borgen således, at den norske fribytter, jarlen “Mindre-Alf” (egentlig Alv Erlingsson), i 1285 fik den i sin magt og plyndrede hele egnen. Erik Menved lod den på ny befæste og gav sin broder Christoffer den i forlening. Senere fik den hallandske herremand Knud Porse den i forlening af Christoffer, da han var bleven konge, som “Grevskabet Kalundborg” sammen med Samsø med mere. Efter dennes død i 1330 beholdt hans enke Ingeborg lenet og dermed borgen.
Hærvig
Der en fundet pæle i den indre fjord, Houget, ved renden mellem Houget og Munkesøen og I Munkesøen. Pælene kan have været sejlspærring, som det er set andre steder i landet.
Om Hærvig refererer til Houget eller Munkesøområdet er vanskeligt at konkludere, idet både Munkesøen og dens forbindelse til Houget i dag er henholdsvis fyldt op og lagt i rør, uden at der er blevet foretaget arkæologiske undersøgelser. Interessant er det dog, at Jens Nielsen (pensioneret arkæolog ved Kalundborg Museum) har fået fortalt af lokale beboere, at der ved udgravning til en garage i Lunderenden på den sidste matrikel ud til vandet blev påtruffet træpæle. 
Dette skulle angiveligt være sket i 1950-60erne. Derimod er det sikkert, at der ved udgravninger i 1909-1915, 1980erne og i 2008 blev fundet defensive anlæg i Munkesøområdet, herunder pælespærringer af ege- og elletræ, medens en ringmursdel fra 1356 var bygget på piloteringspæle af bøg. Men ingen sikkert identificerede pælespærringer er endnu konstateret i selve Kalundborgs ældste havn, det vil sige Houget. Dog er det formentlig også omkring 1300 tallet, at vanddybden i Houget bliver for lille til datidens større skibe, hvorfor skibsbroen sydøst for Østborgen formentlig bliver opført omkring Valdemar Atterdags overtagelse af Kalundborg Borg, hvorved en eventuel sejlspærring må have mistet noget af sin betydning.
Borgens forfald og genopdagelse
Senere hen i middelalderen, måske allerede fra midten af 1300 tallet, blev Vestborgen opgivet som fæstning og området blev blandt andet. brugt til hestestalde. Ridebanen formodes at være den runde cirkel i midten af anlægget.
Hele området groede efterhånden til og bygninger og forsvarsmur blev brugt til byggematerialer rundt omkring i byen. Som tiden gik, forsvandt erindringen hos byens indbyggere også og til sidst vidste ingen mennesker, at Esbern Snares gamle borg engang havde ligget her.
Først i 1906 blev den genopdaget. En murermester havde købt Lindegården med det tilhørende vænge (Vestborgen) for at rive gården ned og udstykke gården og vænget til bygning af boliger. Han stødte på en svær mur af kampesten og tilkaldte heldigvis Nationalmuseet. Herefter bliver både Lindegården og Vestborgen fredet.

Beliggenhed: