Temelleri Helenistik döneme kadar inen Trabzon Kalesi, gerçek anlamda Roma döneminde inşa edilmiş olup genel özelliklerini 19. yüzyıla kadar korumayı başarmıştır. Fakat ne olduysa işte ondan sonra olmuş ve Trabzon Kalesi’nin surları günümüze kadar sürekli tahrip edilmiştir.

Kale üzerindeki ilk yıkım Trabzon-Akçaabat yolunun yapımı sırasında yaşanmıştır. Zira yol yapımı esnasında hükümet konağı civarındaki kale surları ve Tabakhane Kapısı yıktırılmıştır. Aynı dönemde Zağnos Köprüsü karşısındaki kale hendeği, çeşitli şahıslar tarafından bahçe haline getirilmiştir. Daha sonra buralar doldurularak bir kısmı üzerinde kahve yapılmış, bir kısmında da belediye tarafından damlar inşa edilmiştir.

1900’lerin başında Osmanlı döneminden önce yapılmış olan ve şehri çepeçevre kuşatan eski kale surlarının en şerefli ve kıymetli kısmı yıkılmış enkaz ve arsaları da satılmıştı.

Kale surlarındaki tahribat Cumhuriyet döneminde de artarak devam etmiştir. Bu tahribatın durdurulmasına yönelik olarak 1937 yılında Mimar Sedat Çetintaş tarafından hazırlanan rapor, yetkililer tarafından hiçbir şekilde dikkate alınmamıştır. Aksine rapora ve kanuna muhalif bir şekilde kale duvarları üzerinde ilk binayı yapan Trabzon Belediyesi olmuştur. Moloz civarındaki sebze hali, kale duvarlarına bitiştirilmek suretiyle yapılmış, yine aynı bölgede inşa edilen bir fabrika, kale duvarları üzerine oturtulmuştur. Belediye sonraki yılarda pek çok vatandaşa kale duvarları üzerinde bina yapması için ruhsat vermiştir. Bu suretle özellikle Kuzgundere ve Zağnos Deresi yani kale duvarlarına yakın yerler tamamen binalarla dolmuştur.

Aynı tarihlerde Mumhane civarında harabe halindeki ciğerhane ile karakol arasındaki çökme tehlikesi bulunan kale duvarlarının yıkılması istenmiş, bunun üzerine Trabzon Kültür Müdürlüğüne yazı yazılmış ve kale duvarlarının tarihi kıymet taşımadığı (!) belirtilerek yıkılmasına izin verilmiştir. Böylece bilhassa Moloz mevkiindeki surların önemli bir kısmı 1930’ların ikinci yarısında ortadan kaldırılmıştır.

Trabzon Kalesi’nin yıkılma süreci 1940’larda da devam etmiştir. Bu tarihlerde sebze halinin bulunduğu kayıkçıların ve amelenin bol olduğu Mumhaneönünde ve Moloz mevkiinde bir umumi hela yapmak üzere burada harap halde bulunan kale duvarları yıktırılmıştı.

1950’lere gelindiğinde kale surlarının önemli bir bölümü yıkılmış durumdaydı. Buralar arsa haline gelmişti. Bazı kale surları ise bir kısım vatandaşlar tarafından gizli gizli yıkılarak arsa haline getiriliyordu. Oysa Trabzon Belediye’si 1947’de aldığı bir kararla, bu gibi kişilerin cezalandırılmasına karar vermişti.

1953 yılına gelindiğinde Trabzon Belediye Meclisi,eski eserler arasında bulunan kale duvarları ve bunlara yakın arsaların satılmaması yönünde bir karar almıştı. Zaten Milli Eğitim Bakanlığı’nın emri ile kale duvarlarına 10 metre yakın arsalarda bina yapılmaması emredilmişti.

Bu dönemde hızlı nüfus artışı ve yapılaşma nedeniyle kale surlarının durumu sık sık Belediye Meclisinin gündemine gelmiştir. Trabzon Belediye Meclisi, kale duvarları ve tarihi eserlerin 15 metre yakınına kadar inşaat yapılmasının kanunen yasak olduğu yönünde bir karar almıştır.

Fakat ilerleyen yıllarda yaşanan gelişmeler sonucunda kale surlarının yıkımının önüne geçilememiştir.