После многочисленных набегов и сражений крепость еще несколько раз перестраивалась. Пять башен — Климентовская, Воротная, Тайничная, Стрелочная и Раскатная были возведены в 1495 году.
К 20 веку крепость была практически полностью разрушена и в середине столетия была начата ее реконструкция, которая продолжается и по сей день.
Изначально крепость, как и многие была деревянной. Но уже в конце 9 — начале 10 века князь Олег (Вещий) перестроил ее в камне.