İlçenin bilinen en eski adı Karadere'dir. İlçe merkezinden geçmekte olan derenin yatağındaki kara taşların, suyun rengini kara göstermesi ilçenin bu adı almasına sebep olmuştur. Daha sonra bu ad Kalkandere olarak değiştirilmiştir. Kalkandere adı ilçenin geri kalmışlıktan kurtularak kalkınma sürecine girmesi nedeniyle verilmiştir. Başka bir düşünceye derenin bol su getirerek taşmasına atıfta bulunularak "Kabaran Dere" anlamında Kalkandere denmiştir. üçüncü bir anlamı da kötülüklere karşı kalkan olmaktır.
Kalkandere, sırasıyla Kimmerler, Persler, Selçulular ve Trabzon Rum Pontus devletinin egemenliği altında kalmış, 1461'de Fatih sultan Mehmet'in Trabzon Rum Pontus Devletini ortadan kaldırmasıyla Osmanlı İmparatorluğu'na katılmıştır.
XI. yüzyılda başlayan büyük Türk göçü ile Kars-Çoruh yolu üzerinden Selçuklu Türkleri'nin bölgeye ilk defa giriş yaptığı bilinmektedir.
1048'de İbrahim YINAL komutasındaki Selçuklu ordusu Trabzon'a kadar gelir.
1058'de Emir DİNAR komutasındaki Selçuklu ordusu Kars-Çoruh yolunu takip ederek Kelkit'e ulaşır.
İlçemizin bulunduğu mevkiyi göz önüne alırsak bu akınlar sırasında Çoruh Vadisini İspir üzerinden İkizdere-İyidere Vadisine bağlayan geçitten bölgemize girildiği düşünülebilir. Kalkandere'deki akrabaların soy adlarına Doğu ve Güneydoğu illerinde de rastlanması bu görüşü doğrulamaktadır. Ayrıca yakın zamanlara kadar Rize'yi Erzurum'a bağlayan bir yaya yolunun varlığı da bilinen bir gerçektir. Kara yolunun olmadığı dönemlerde bölgemizde yaşayan insanların Rize-İspir-Erzurum arasında katırlarla yük taşıdıklarına yaşlılarımız şahittir.
1071 Malazgirt Zaferi sonunda bilgemiz kesin olarak Selçuklu hakimiyetine girer. Ancak Selçuklu göçünün Batı Anadolu'ya kayması ile bölge tekrar Bizans eline geçer. Bundan sonra Danışmendoğulları, Bizans ve Anadolu Selçuklu Devletleri arasında el değiştiren bölge, 4. Haçlı Seferi sırasında Rum-Pontus Devleti'nin hakimiyeti altına girer. Nihayet 1461'de Fatih'in Trabzon seferi sonunda Osmanlılar bölgeye hakim olur.
Bu dönemde İlçemizin büyük yayla şeklinde bir köy durumunda olduğu Mahmut GÖLOĞLU'nun Trabzon Tarihi adlı eserinde ifade edilmektedir. Aynı kaynak, 1821'lerde köy halinde bulunan Karadere'nin nahiye oluş tarihini de 1886 olarak vermektedir
Seferberlik sırasında Ruslar, Kars-Çoruh yolunu takip ederek İspir üzerinden Silyan dağlarına gelmişlerdir. Sarıkamış bozgunundan dolayı bölgede Türk Askeri Kuvvetlerinin az olması nedeniyle 02.04.1916 tarihinde Karadere suyunun Of tarafı Ruslar'ın eline geçmiştir. Bu işhalden sonra Rusya'da meydana gelen Bolşevik ihtilali sonucu, Erzincan görüşmeleri ile Rus Birlikleri Doğu cephesine doğru çekilmeye başlamışlardır. Aynı anda harekete geçen II. Türk-Kafkas Kolordusu bölgeye hakim olmuş, 2 Mart 1918'de Yakup Şevket Paşa'ya bağlı birlikler Rize'yi kurtarmıştır.
Mütareke yıllarında Trabzon'da kurulan "Trabzon Müdâfa-i Hukuk-i Milliye" örgütünün Rize'de şubesi açılmış, bölgemiz halkı, bu örgüt vasıtasıyla seferberliğe iştirak etmiştir.
Kalkandere nahiyesi 27.06.1957 tarihinde yürürlüğe giren 7033 sayılı kanunla ilçe olmuştur. Ancak bölgemiz fiilen 01.04.1959'da ilçe olarak yönetilmeye başlanmıştır.