Точну дату будівлі цього замку назвати не можна, як і дату зведення більшості замків періоду завоювання країни норманами. Швидше цього, фортеця була побудована за наказом Вільгельма Завойовника орієнтовно 1066 році. ? асположеніе в місті Гілфорд такої споруди було стратегічно важливо, так як місто стоїть на шляху з Лондона в західні райони Англії і є найбільшим населеним пунктом у своєму графстві. Нормани ніколи не зводили споруди просто так. Замок має типові риси споруд норманів: він розташований на вершині кургану, його внутрішній дворик оточений палісадом з дерева, а навколо замку викопаний рів. Досить ефективне оборонно-захисну споруду для свого часу. Через пару століть такі замки перебудовувалися, і Гілдфорд не став винятком. Його дерев'яний палісад замінили кам'яною стіною, а дерев'яну вежу замінили на більш міцну і довговічну також з каменю. Апартаменти для проживання були на другому поверсі донжона. Перий поверх займала каплиця, часто зводиться в замках, головна палата і гардеробна.
Гілдфорд непогано зберігся, якщо судити по його давнини. Більшість будівель того часу давно перетворилися на руїни. Так сталося тому, що замок практично не брав участі в бойових діях і вкрай рідко піддавався атакам. У 13 столітті Генріх 3 обладнав замок і поліпшив його, зробивши своєю резиденцією. Навіть пожежа не заподіяв будовою особливої ??шкоди і не зупинив перебудови та покращення в його приміщеннях. Після смерті Генріха замок був покинутий, і в його донжоне зробили в'язницю, яка проіснувала тут до початку 16 століття. З кінця 19 століття в замку почалися реконструкції, багато недоліків були приховані. Донжон також піддався відновленню.
Гілдфорд непогано зберігся, якщо судити по його давнини. Більшість будівель того часу давно перетворилися на руїни. Так сталося тому, що замок практично не брав участі в бойових діях і вкрай рідко піддавався атакам. У 13 столітті Генріх 3 обладнав замок і поліпшив його, зробивши своєю резиденцією. Навіть пожежа не заподіяв будовою особливої ??шкоди і не зупинив перебудови та покращення в його приміщеннях. Після смерті Генріха замок був покинутий, і в його донжоне зробили в'язницю, яка проіснувала тут до початку 16 століття. З кінця 19 століття в замку почалися реконструкції, багато недоліків були приховані. Донжон також піддався відновленню.