Castell Y Gelli yw un o'r prif strwythurau amddiffyn canoloesol ar y ffin rhwng Cymru a Lloegr sy'n dal i sefyll. Adeiladwyd ar ddiwedd y 12fed ganrif gan yr Arglwydd Normanaidd pwerus William de Braose, mae ganddo hanes hir a chythryblus. Cafodd y castell ei ysbeilio gan Llewelyn II, tywysog olaf Cymru, yn 1233, a'i ailadeiladu gan Harri III. Wedi canrifoedd o helbul, yn y 15fed ganrif, pasiodd y castell i ddwylo Ystadau Beaufort. Cafodd Castle House, plasty Jacobeaidd, ei hadeiladu wrth ymyl y tŵr yn 1660.
Mae olion y castell yn cynnwys gorthwr pedwar llawr a phorth bwaog hardd. Difrodwyd y faenor aml-dalcen Jacobeaidd yn ddifrifol gan dân yn 1939, ac eto yn 1977. Mae olion y gerddi ffurfiol o'r 18fed ganrif a gerddi ffurfiol y 19eg ganrif i'w gweld o hyd. Yn eiddo i'r llyfrgarwr Richard Booth ers y 1960au, cafodd y safle ei phrynu yn 2011 gan Ymddiriedolaeth Castell y Gelli.