У 1470 годзе на гэтым месцы быў непралазны лес, гэтая зямля належала падскарбію ВКЛ Аляксандру Солтану.

Аднойчы дзеці пасвілі ў гэтых мясцінах кароў і ўбачылі на грушцы-дзічцы святло. Калі яны прыгледзеліся, то яны ўбачылі абраз Багародзіцы. Яны ўзялі яго і прынеслі Солтану, які схаваў абраз у куфар. Але калі ўвечары пры гасцях ён адчыніў куфар, то абраза там не было. А вось дзеці знайшлі яго зноў на тым жа месцы, на дрэве.

Тады Аляксандр Солтан загадаў пабудаваць на гэтым месцы драўляную царкву, дзе і захоўваўся абраз. Побач з гэтай царквой з’явілася і паселішча, якое пачалі называць Жыровіцы.

У 1520 годзе тут здарыўся вялікі пажар, падчас якога згарэлі ўсе будынкі разам з царквой. Праз месяц пасля пажара на папялішчы дзеці ўбачылі на валуне выяву Багародзіцы, якая трымала той самы абраз. Тады храм быў зноў адбудаваны і ў яго быў перанесены абраз.

Жыровіцкі Абраз Багародзіцы – самы малы ў свеце цудатворны абраз з выявай Багародзіцы. Гэта авал на яшмавым камені. Абраз ушаноўваецца і праваслаўнымі, і каталікамі. Свята абраза адзначаецца 20 мая. Жыровіцкі абраз был першым беларускім абразам, каранаваным Папай Рымскім Бенедыктам XIII, адбылося гэта 9 верасня 1730 года. Каштоўныя камяні для карон ахвяравала Ганна Радзівіл разам з сынам.

У Жыровіцах быў заснаваны мужчынскі праваслаўны манастыр. На пачатку 17 стагоддзя манастыр перайшоў да манахаў-базылян. Першым ягоным настаяцелем стаў архіепіскап Язафат Кунцэвіч.

На месцы, дзе ў першы раз быў знойдзены абраз, базыляне распачалі будаўніцтва вялікага мураванага храма ў стылі барока. Фундатарам будаўніцтва стаў смаленскі кашталян Ян Мялешка разам з жонкай, таксама базыляне атрымалі вялікія ахвяраванні на пабудову храма ад Льва Сапегі і Рыгора Трызны.

 У 1650 годзе будаўніцтва было скончана і Успенскі сабор быў асвечаны. Будынак сабора і кляштара моцна пацярпеў ад казакаў падчас вайны з Маскоўскай дзяржавай, але да 1667 года быў адноўлены. З 1828 года сабор стаў праваслаўным у быў значна перабудаваны ў класічным стылі.

А вось на месцы валуна, дзе абраз быў знойдзены ў другі раз, у другой палове 17 стагоддзя была узведзена Яўленская царква. У гэтым храме захоўваецца той самы валун з адбіткамі далоняў і ступняў Багародзіцы. Пад канец 18 стагоддзя храм быў крыху перабудаваны, але ў асноўным захаваў першапачатковы выгляд.

У 17 стагоддзі Жыровіцкі манастыр наведваў кароль Рэчы Паспалітай Уладзіслаў ІV разам з жонкай. У 1652 годзе ён надаў мястэчку Жыровіцы Магдэбургскае права. Потым тут бывалі і іншыя каралі Рэчы Паспалітай: Ян Казімір Ваза, Ян Сабескі, Аўгуст Моцны, Станіслаў Аўгуст Панятоўскі.

У першай палове 18 стагоддзя ў Жыровіцкім манастыры былі пабудаваны мураваныя жылыя карпусы манастыра. У 1828 годзе тут была адкрыта духоўная семінарыя.

Пад канец 18 стагоддзя на самым высокім месце Жыровіцкага манастыра была пабудавана царква Уздвіжання Святога Крыжа. Гэты храм быў пабудаваны ў стылі барока па падобію рымскага храма Санта-Скала. У ім знаходзіцца лесвіца на 28 ступеней, якая сімвалізуе тую лесвіцу, па якой Хрыстос падымаўся да Понція Пілата.

Таксама ў 18 стагоддзі на могілках, якія знаходзяцца на поўнач ад манастыра была пастаўлена драўляная царква Святога Георгія.

На пачатку 19 стагоддзя Жыровіцкі манастыр быў буйнейшым манастыром на тэрыторыі Беларусі. Тут размяшчалася Брэсцкая, а потым Літоўская уніяцкая епархія. Тут была вялікая бібліятэка з каштоўнымі рукапісамі, сярод якіх вылучалася Жыровіцкае Евангелле. Яно было створана ў 15 стагоддзі на 404 аркушах. Евангелле захоўвалася ў Жыровіцах да 19 стагоддзя, зараз яно знаходзіцца ў Літве.

З 1830-х гадоў Жыровіцкі манастыр з уніяцкага быў пераўтвораны ў праваслаўны.

Падчас Першай Сусветнай вайны ўсе каштоўнасці манастыра былі вывезены ў Маскву ў сабор Васілія Блажэннага, тады ж вывезлі і цудадзейны абраз. Пасля Рэвалюцыі па благаславенні патрыярха Ціхана абраз быў вернуты ў Жыровіцы.

З прыходам савецкай улады ў 1939 годзе ў храме зрабілі склад зброі.

Кажуць, што аднойчы да савецкага камісара каля храма падышла жанчына,загадала вайскоўцам пакінуць храм і ўвайшла ў дзверы сабора. Камісар пабег за ёй з рэвальверам, але жанчына знікла. Кажуць, што гэта явілася Маці Божая. Так ці інакш, пасля гэтага склад зброі з храма прыбралі.

За савецкім часам манастыр неаднаразова спрабавалі зачыніць, але зрабіць гэтага не змаглі. Гэта быў адзіны манастыр на Беларусі, які дзейнічаў увесь час.

У Жыровіцкім манастыры дзейнічае духоўная семінарыя.