Наконт паходжання назовы гэтага паселішча ёсць спрэчкі. Па адной версіі яно мае балцкае паходжання ад слова asva – конь. Па іншай версіі гэтая назова мае фіна-угорскія карані і азначае “святы мыс”.
Мястэчка Асвея стаіць на беразе вялікага возера Асвейскага. Людзі ў гэтых мясцінах пасяліліся з даўніх часоў, з самога адыходу ледавіка. На возеры Асвейскім знаходзіцца востраў, дзе ёсць старажытнае гарадзішча і былі знойдзены старажытныя артэфакты — каменныя прылады працы.
Упершыню ў летапісах Асвея ўзгадваецца ў 1503 годзе, калі вялікі князь Аляксандр падпісаў дамову з Маскоўскім царом Іванам ІІІ. Асвея тады была ўласнасцю полацкага ваяводы Станіслава Глебавіча. Тут стаяў замак і гэта быў цэнтр воласці Полацкай зямлі.
Пасля тут уладарыў віцебскі ваявода Станіслаў Кішка. А ў 1600 годзе Асвею набыў канцлер ВКЛ Леў Сапега. У 17 стагоддзя Асвея неаднарозва цярпела ад захопнікаў. Так ў 1633 годзе пскавічане захапілі мястэчка, цалкам яго спалілі і забілі шмат жыхароў.
Сапегі ўладарылі у Асвеі на працягу 150 гадоў. Мястэчка Асвея развівалася, было значным гандлёвым цэнтрам. Два разы на год тут праходзілі кірмашы, якія былі вядомы ва ўсёй краіне. У 1695 годзе Асвея стала горадам.
У 1749 годзе Язэп Сапега за 1 мільён злотых прадаў Асвею кашталяну инфлянцкаму, а пазней ваяводзе менскаму Яну Гільзэну. Ян Гільзэн быў мецэнатам і вельмі адукаваным чалавекам. Ён склаў вядомыя кнігина гісторыю Інфляндыі і Курляндыі – “Хроніку Инфлянтаў” і “Гербоўнік Інфлянцкай шляхты”. Ян Гільзэн быў каталіком і сябрам езуітаў. На ягоныя грошы ў Асвеі быў заснаваны кляштар місіянераў. Пры гэтым кляштары езуітамі быў адчынены калегіюм, дзе навучалі дзяцей-сірот з сялянскім сем’яў. Да нашых дзён дайшоў будынак школы ксяндзоў і шпіталя 1759 года пабудовы. За савецкім часам у гэтым будынку быў шпіталь, зараз ён закінуты і чакае рэстаўрацыі.
Старэйшы брат Яна Гільзэна — Ежы Гільзэн стаў епіскапам смаленскім. Браты Ян і Ежы заснавалі ў Асвеі касцёл місіянераў. Адзін з фундатараў храма Ежы Гільзэн быў пахаваны ў гэтым касцёле. Касцёл быў цагляны, меў мураваную агароджу. У 1937 годзе пры бальшавіках касцёл быў узарваны, а абразы і кнігі з касцёла спалены. Да нашых дзён захаваліся толькі падмуркі і рэшткі сцен касцёла. Недалёка ад касцёла знаходзяцца старажытныя каталіцкія могілкі.
Ян Гільзен таксама заклаў ў Асвеі шыкоўны палац. Дабудоўваў палац сын Яна — Юзаф Гільзэн. Будаўніцтва было скончана ў 1782 годзе. Палац быў пабудаваны ў стылі класіцызм . Колькасць некаторых элементаў палаца была сімвалічнай: тут было 365 вокнаў – па колькасці дзён у гаду, колькасць залаў палаца адпавядала колькасці тыдняў, было 12 уваходаў – па колькасці месяцаў, у тым ліку 4 галоўных уваходу з кожнага боку свету. У палацы была вялікая бальная зала ў два паверхі вышынёй. Таксама тут была вялікая бібліятэка з тысячамі тамоў кніг. У адном крыле палаца быў зімовы сад у два паверхі з экзатычнымі раслінамі.
Пасля прыходу бальшавікоў інтэр’еры палаца былі пашкоджаны і разрабаваны, а вось падчас Айчыннай вайны партызаны узарвалі частку палаца. Пасля вайны частка палаца яшчэ выкарыстоўвалася – тут быў сельсавет і клуб. Але пасля будынак быў закінуты і з 1954 года ягоныя сцены пачалі разбіраць на цэглу. Да нашых дзён дайшлі рэшткі сцен палаца.
У 1876 годзе тут быў Напалеон Орда і намаляваў мясцовы палац. Тады ён выглядаў наступным чынам:
Юзаф Гільзэн памёр у 1786 годзе ў Рыме, а перад смерцю выдаў завяшчанне – вызваліць з прыгону усіх сваіх сялян і дазволіць забраць сваю маёмасць. Юзаф Гільзэн завяшчаў Асвею свайму пляменніку – Яну Шадурскаму. Ён зрабіў тут вялікі парк у стылі рамантызм, які займаў плошчу ў 40 гектараў. У парку былі сажалкі з пратокамі, паміж асноўнымі сажалкамі быў пад’ёмны мост. Таксама у парку была цікавая кампазіцыя “сонечны гадзіннік” – 12 лістоўніц, высаджанных кругам. Былі тут і вальеры, дзе трымалі звярэй: ваўкоў, мядзведзяў, ласёў, дзікоў. У розныя бакі ад палаца ішлі падземныя хады, зараз іх амаль поўнасцю засыпалі.
Раней у Асвеі было тры храма: каталіцкі касцёл і дзве праваслаўныя царквы. Да нашых дзён яны не захаваліся. На месца адной з тых колішніх праваслаўных цэркваў была перавезена і пастаўлена царква з Верхнедзвінску, дзе яна стаяла на могілках. Царква была асвечана ў гонар Георгія Пераможца.
З 1897 года Асвея была цэнтрам воласці Дрысенскага павета. А з 1938 года Асвея мела статус гарадскога пасёлка і была раённым цэнтрам да 1959 года.