Точну дату будівлі цього замку назвати не можна, як і дату зведення більшості замків періоду завоювання країни норманами. Швидше цього, фортеця була побудована за наказом Вільгельма Завойовника орієнтовно 1066 році. ? асположеніе в місті Гілфорд такої споруди було стратегічно важливо, так як місто стоїть на шляху з Лондона в західні райони Англії і є найбільшим населеним пунктом у своєму графстві. Нормани ніколи не зводили споруди просто так. Замок має типові риси споруд норманів: він розташований на вершині кургану, його внутрішній дворик оточений палісадом з дерева, а навколо замку викопаний рів. Досить ефективне оборонно-захисну споруду для свого часу. Через пару століть такі замки перебудовувалися, і Гілдфорд не став винятком. Його дерев'яний палісад замінили кам'яною стіною, а дерев'яну вежу замінили на більш міцну і довговічну також з каменю. Апартаменти для проживання були на другому поверсі донжона. Перий поверх займала каплиця, часто зводиться в замках, головна палата і гардеробна.

Гілдфорд непогано зберігся, якщо судити по його давнини. Більшість будівель того часу давно перетворилися на руїни. Так сталося тому, що замок практично не брав участі в бойових діях і вкрай рідко піддавався атакам. У 13 столітті Генріх 3 обладнав замок і поліпшив його, зробивши своєю резиденцією. Навіть пожежа не заподіяв будовою особливої ??шкоди і не зупинив перебудови та покращення в його приміщеннях. Після смерті Генріха замок був покинутий, і в його донжоне зробили в'язницю, яка проіснувала тут до початку 16 століття. З кінця 19 століття в замку почалися реконструкції, багато недоліків були приховані. Донжон також піддався відновленню.