Бяроза вядома з 1477 года як вёска ў Слонімскім, а з 1521 года – Кобрынскім павеце Вялікага Княства Літоўскага. На той час тут уладарылі шляхцічы Гамшэі, якія пабудавалі тут касцёл Святой Троіцы. Пазней, з 1538 года, касцёл был перароблены пад кальвінскі збор, які дзейнічаў да пачатку 17 стагоддзя. Пасля Гамшэяў Бяроза перайшла да Вештартовічаў, Гасоўскіх, Рудзінскіх. На мяжы XV і XVI стагоддзяў Бяроза атрымала прывілей на штотыднёвыя кірмашы.

У 1617 годзе Бяроза стала ўласнасцю вялікага канцлера Льва Сапегі. Ён фундаваў пабудову тут новага касцёла, а таксама дазволіў яўрэям пабудаваць свій храм. Таксама на той час тут ужо была уніяцкая царква. Пасля смерці Льва Сапегі Бяроза перайшля да ягонага старэйшага сына Яна Станіслава Сапегі, які быў маршалкам надворным. Але ў хуткім часе ён памёр і з 1635 года тут пачаў уладарыць ягоны брат Казімір Сапега. Казімір Сапега таксма быў маршалкам надворным, а з 1645 года стаў падканцлерам літоўскім. Ён фундаваў пабудову кляштароў і касцёлаў па ўсім Вялікім княстве. Наконт гэтага існуе наступная легенда:

Калісьці ў Вялікім княстве Літоўскім прайшла чутка, што здарыўся цуд: стары сляпы умыўся вадой з лясного ручая і пачаў бачыць. Пра гэта пачуў і Казімір Сапега, у якога быў невідушчы сын. Хлопца прывезлі ў гэтае месца, ён умыўся з ручая і таксама пачаў бачыць. Ва ўдзячнасць Богу за гэты цуд Казімір Сапега і пачаў фундаваць пабудову шматлікіх касцёлаў і кляштароў.

Па легендзе, у гэтыя ж часы цуд здарыўся і каля Бярозы – на дрэве тут праявілася выява крыжа. Пра гэтае здарэнне даведалісь манахі ордэна картэзіянцаў і прыехалі ў Бярозу. Ордэн картэзіянцаў быў заснаваны ў 1084 годзе ў Францыі ў мясцовасці Шартроз, ад якой і атрымаў сваю назову (на латыні гэтая назова гучыць як Cartusia). Манахі гэтага ордэна прытрымліваліся поўнага аскетызму і і давалі зарок маўчання.

Менавіта да Казіміра Сапегі і звярнуліся манахі-картэзіянцы, калі прыехалі з Бярозу і ён выдаў ім 10000 злотых на пабудову кляштара. Са з’яўленнем у Бярозе кляштара картэзіянцаў яе пачалі зваць Бярозай-Картузскай ці Картуз-Бярозай.

Першы камень кляштара картэзіянцаў быў закладзены ў 1648 годзе. Пры гэтым прысутнічалі луцкі біскуп Анджэй Гембіцкі, рымскі нунцый Ян дэ Торэс, а таксама фундатар Казімір Сапега. Комплекс кляштара будаваўся па праекце невядомага італьянскага дойліда каля 40 гадоў, да 1689 года. Увакол комплекса кляштара была пастаўлена абарончая сцяна з вежамі, увакол яго быў ров з вадой. Патрапіць на тэрыторыю кляштара магчыма было толькі праз галоўную браму. Сярод будынкаў вылучаўся касцёл Святога Крыжа са шмат’яруснай званіцай. Таксама пры кляштары дзейнічала аптэка, госпіталь, майстэрні, быў свой сад і агарод. Колішні выгляд комплекса кляштара магчыма пабачыць на малюнку Напалеона Орды:

На тэрыторыі кляштара не было вялікай трапезнай. Большасць манахаў амаль не пакідалі свае кельі, дзе яны праводзілі большасць часу – у тым ліку гатавалі там ежу. Прадукты манахам дастаўлялі праз спецыяльныя вакенцы ў іх кельях. У касцёл кожны з іх мог трапіць па доўгім калідоры і пры гэтым не сустракацца адзін з адным.

 У XVII-XVIII стагоддзях кляштар быў адным з багацейшых у ВКЛ, а па некаторых чутках і буйнешым картэзіянскім кляштарам у свеце. Кляштару належала да 2000 сялян і вялікая гаспадарка, таксама ў ягонай ўласнасці былі 7 корчмаў. Манахі займаліся селекцыяй вінаграда, кажуць менавіта ў Картуз-Бярозе быў вынайдзены сорт вінаграда, які шырока ўжываецца ў нашых мясцінах для вырабу віна.

Таксама манахі атрымлівалі прыбытак ад таго, што прадавалі шляхцічам месцы для пахавання ў сутарэннях касцёла. Тут былі пахаваны больш за 80 заможных шляхцічаў,  у тым ліку і фундатар кляштара Казімір Сапега. Акрамя гэтага манахі давалі грошы пад працэнты, іх паслугамі карысталася ня толькі дробная шляхта, але і такія магнаты як Радзівілы і Пацы.

Існуюць звесткі, што падчас Паўночнай вайны ў Бярозе сустракаліся саюзнікі ў вайне: кароль Рэчы Паспалітай Аўгуст ІІ Моцны і расійскі цар Пётр І. А вось калі Бярозу ўзялі шведы, то ў кляштары дзве ночы начаваў шведскі кароль Карл ХІІ. Будынкі кляштара даволі моцна пацярпелі падчас гэтай вайны, шведы вывезі з касцёла ўсе каштоўнасці і срэбра.

Пасля Трэцяга Падзелу Рэчы Паспалітай Бяроза ўвайшла ў склад Расійскай Імперыі. Улады тады хацелі зачыніць кляштар, абвінавацілі манахаў у грашовай падтрымцы паўстанцаў Тадэвуша Касцюшкі, але картэзіянцы здолелі апраўдацца. А вось пасля паўстання 1831 года, якое манахі дакладна падтрымалі, картэзіянцы былі высланы з Бярозы. Касцёл Святога Крыжа стаў прыхадскім, а іншыя будынкі кляштара былі перададзены Полацкаму кадэкаму корпусу. А вось пасля паўстання 1863 года будынкі кляштара і касцёл наогул пачалі разбіраць на цэглу. Да нашых дзён захаваліся рэшткі пабудоў кляштара з вуглавой вежай і брамай.

Таксама магчыма пабачыць рэшткі шмат’яруснай званіцы касцёла.

Брама кляштара была адноўлена нядаўна, падчас рэстаўрацыі ў 2014 годзе.

З цэглы кляштара картэзіянцаў ў хуткім часе былі пабудаваны казармы для жаўнераў 151-га Пяцігорскага пяхотнага палка, які былі адпраўлены на кватараванне ў Бярозу. Два трохпавярховыя будынкі казармаў, якія былі пастаўлены ў 1890-х гадах, дайшлі да нашых часоў.

За польскім часам у 1934 годзе польскімі уладамі тут быў створаны канцэнтрацыйны лагер для палітвязняў, дзе былі вельмі жорсткія ўмовы ўтрымання. За 5 гадоў вязнямі тут былі каля 5 тысяч чалавек.

Пад канец XIX стагоддзя, у Бярозе была пабудавана праваслаўная царква Святых Пятра і Паўла. Будынак мае рысы руска-візантыйскага стылю, аўтар і фундатар ягонай пабудовы дакладна невядомы. У 1996 годзе храм был перабудаваны, што моцна змяніла ягоны знешні воблік, які цяпер амаль не нагадвае арыгінальны.

З 1921 года Бяроза ўвайшла ў склад Польшчы. З польскі часоў захаваўся цікавы двухпавярховы будынак у стылі канструктывізм. Зараз у ім размешчаны краязнаўчы музей.

У 1939 годзе Бяроза ўвайшла ў склад БССР. Назова Бяроза-Картузская афіцыйна існавала да 1940 года, а зараз яна захавалася за найменнем мясцовай чыгуначнай станцыі.

Падчас Айчыннай вайны фашыстамі тут было створана Бярозаўскае гета, дзе загінула каля 2500 мірных жыхароў, у асноўным яўрэяў.