Па легендзе раней тут быў чароўны валун, да якога людзці прыходзілі са сваімі просьбамі. Звалі яго камянец. А калі тут узнікал паселішча, то ад яго пайшла і назова.
Мяркуюць, что паселішча ўзнікла тут яшчэ ў 10 стагоддзі. Але даставерна вядома, што горад Камянец быў закладзены па загадзе валынскага князя Уладзіміра Васількавіча ў 1276 годзе. Тады ён адправіў свайго ваяводу Алексу ў землі на поўнач ад Брэста, каб знайсці там зручнае месца для горада-крэпасці. Такое месца было знойдзена на беразе ракі Лясной і тут паўстала паселішча. Зараз у цэнтры Камянца магчыма пабачыць понік заснавальніку горада – князю Уладзіміру Васількавічу.
Па загадзе князя Уладазіміра ў Камянцы пабудавалі першую праваслаўную царкву, а таксама драўляную крэпасць у цэнтры якой паўстала абарончая вежа-данжон. Цагляная вежа мае круглую форму, яе вышыня складае каля 30 метраў, а таўшчыня сцен даходзіць да 2,5 метраў. Вежа мае 5 ярусаў, якія злучаліся драўлянай лесвіцай. Наверсе вежы была баявая пляцоўка для абаронцаў, таксама тут стаялі дазорныя, якія сачылі за наваколлем. Дарэчы гэта адзіная з так званых “валынскіх веж”, якая цалкам захавалася да нашых часоў. У 19 стагоддзі будынак пачалі называць “Белая вежа”. З 1899 да 1903 года вежа была рэстаўравана пад кіраўніцтвам акадэміка архітэктуры Суслава. А вось за савецкім часам адзін з мясцовых кіраўнікоў загадаў яе сапраўды пафарбаваць у белы колер, але праз пэўны час фарбу з цэглы змылі альпіністы і вежы быў вярнуты былы выгляд.
Яшчэ ў 14 стагоддзі вежу неаданаразова спрабавалі ўзяць крыжакі, але іх напады ў 1373, 1375, 1378 гадах былі няўдалымі. На той час побач з вежай быў пабудаваны і велікакняжацкі драўляны замак, дзе стаяў вайсковы атрад. У 1410 годзе камянецкія ваяры у складзе берасцейкай харугвы бралі ўдзел у бітве пад Грунвальдам.
Годад Камянец меў удалае месцазнаходжанне, праз яго праходзіў шлях з Кракава на Вільню. У 1421 годзе ў мясцовым замку вялікі князь Вітаўт прымаў паслоў, у тым ліку пасла ад ангельскага караля – Жыльбера.
У канцы 15 стагоддзя Камянец быў даволі буйным гандлёвым горадам і павятовым цэнтрам. У 1501 годзе па фундацыі вялікага князя Аляксандра тут быў пастаўлены першы касцёл. Акрамя таго, у 1503 годзе па прывілею вялікага князя Аляксандра Камянец атрымаў Магдэбургскае права і ўласны герб з выявай мясцовай вежы.
Падчас вайны з Масковіяй у 1654-67 гадах Камянец быў спалены і разрабаваны, але праз пэўны час адноўлены.
Падчас ІІІ Падзелу Рэчы Паспалітай Камянец увайшоў у склад Расійскай імперыі. З гэтага часу і да 1940 года горад меў назову Камянец-Літоўскі (каб адрозніваць яго ад горада Камянец-Падольскі).
У 1885 годзе Камянец быў цэнтрам воласці, тут налічвалася каля 3000 жыхароў. Тут стаялі 2 праваслаўныя царквы, касцёл, школа, 3 заездныя двары. Штогод тут праходзіла 9 кірмашоў.
Пад канец 19 – пачатак 20 стагоддзяў ў Камянцы было нямала яўрэяў. З тых часоў захаваўся будынак сінагогі “Дэр-Мейер”.
Насупраць яго стаіць будынак іешывы (па іншых звестках гэта яўрэйская школа “Бейт-Мідраш”).
Таксама пачаткам 20 стагоддзя датуюцца дамы з рэгулярнай забудовы цэнтра мястэчка і будынак млына, які працаваў на вадкім паліве.
У 1912 годзе на месцы старой царквы ў Камянцы, недалёка ад вежы, пачалося будаўніцтва новага храма ў рэтраспектыўна-рускім стылі. У 1914 годзе царква была асвечана ў гонар Святога Сімеона. З тых часоў царква дзейнічала і ніколі не зачынялася. Інтэр’ер царквы ўпрыгожвае іканастас, які раней быў у варшаўскім саборы Аляксандар Неўскага.
А вось у 1925 годзе тут быў пабудаваны новы касцёл. Стары каталіцкі храм на гэтым месцы прастаяў аж з пачатку 16 стагоддзя, а ў 1924 годзе падчас навальніцы ў яго трапіла маланка і ён згарэў. Мясцовыя вернікі паспелі ўратаваць начынне касцёла, якое была перанесена ў новы храм, калі ён быў адбудаваны. У 1959 годзе касцёл быў зачынены, а з 2001 года адноўлены і адрамантаваны.
З польскіх часоў захаваўся таксама будынак гімназіі, якая была пабудавана ў 1931 годзе зусім недалёка ад вежы.