Karadere Mahallesi yakınlarındaki Geç Roma ve Bizans dönemine ait "Gadefi ini" olarak bilinen kilise mağarası, defineciler tarafından yapılan kaçak kazılar sonucu talan edildi. Mağaranın definecilerin beton delme aleti ve benzeri araçlarla yaptıkları kazılarda tahribata uğradığı görülürken, ağaçtan yapılan 10 basamaklı merdivenle kayalarda kazı yapıldığı da belirlendi. Merdiven halen mağaranın içerisinde dururken, Karadere Mahallesi halkı tarihe meydan okuyan kilise mağarasının daha fazla tahrip olmadan korunup turizme kazandırılmasını istedi. Mağara kilise, halk arasında "Gedefi ini" olarak biliniyor. Yaklaşık 20 metre yüksekliğinde ve 13 metre uzunluğundaki mağara savaş zamanında sığınak olarak kullanılırken, gizli iki adet kapısı bulunuyor. Ancak daha sonraki dönemlerde yaşanan depremler sebebiyle meydana gelen göçüklerle mağaranın ağzı tamamen açıldı. Mağarada savaş zamanında su ihtiyacını karşılamak için sonradan açılmış bir kuyu da bulunuyor. Mağarada ikisi doğu, biri batı duvarında olmak üzere üç adet yazıt da yer alıyor.