Svaka znamenita peraška porodica je pripadala određenoj kazadi.
Porodica Balović je pripadala kazadi Dentali. Balovići su se uglavnom bavili pomorstvom u ratnoj mornarici i pomorskom trgovinom, kao i većina tog vremena.
„Sve srećne porodice liče jedna na drugu, svaka nesrećna porodica nesrećna je na svoj način.“
Pretpostavlja se da se porodica doselila u Perast 1444. godine. Veoma su se zanimali za kulturu i prošlost svog kraja — Balovići, veliki rodoljubi. U Perastu je ostala porodična palata, crkva i salon u muzeju grada, kao nijemi svjedoci porodice koja se ugasila.
Uprkos tome što je porodica Balović imala puno muških naslednika koji su mogli da produže trajanje porodičnog prezimena, to se nije desilo. Ne samo Balovićima, nego i mnogim znamenitim porodicama u Boki. Neke porodice jednostavno nisu imale takve ambicije, a nekima su velike ambicije zapravo skroz ugušile ratovi, pustolovine...
Ali uvijek se neko poseban i drugačiji istakne, pa se porodično prezime nikada zaista i ne ugasi, jer uvijek postoji i traje u pričama kroz generacije.
Prvi među poznatijim Balovićima su bili Marko Balović i njegov sin Andrija. Andrija Balović je obavljao dužnost upravnika crkve Sv. Nikola u Perastu i peraške opštine. I on se bavio trgovinom, pa je često plovio do Istre.
Andrija je imao sina Matiju, koji je nosio odlikovanje kapetana čete koja je čuvala ratnu zastavu na mletačkom admiralskom brodu. On je bio gradski sudija četiri puta i gradski kapetan. Matija je imao čak šestoro sinova, među kojima se istakao Julije Balović, koji je zaslužan za očuvanje kulturne istorije Perasta — bio je pisac i sakupljač narodnih pjesama.
Početkom 1714. godine je započeo pisanje peraške hronike, u kojoj je zapisao sve događaje iz peraške istorije, počevši od najstarijih vremena. Zahvaljujući ovom velikom rodoljubu, jako važna istorijska dešavanja su sačuvana od zaborava. Dio njegovog rukopisa se nalazi u župnom arhivu grada. 1693. godine napisao je i pomorski priručnik „Pratiche scrivanesche“.
Vicko Balović, još jedan potomak ove porodice, rođen je 1768. godine. U Italiji je studirao teologiju, a kanonik katoličke crkve je postao 1810. godine, a kasnije predstojnik kanoničkog zbora kotorskog kaptola. Pisao je na italijanskom jeziku. 1799. je opisao istoriju svetišta Gospa od Škrpjela. Počeo je da piše djelo „Esej prelijepih pisama“ (ital. Saggio di belle lettere), ali ga nikad nije završio — pretpostavlja se da je ovo djelo trebalo da služi kao udžbenik kotorskim đacima.
Porodica Balović je imala porodičnog predstavnika koji je služio porodici sve do njenog „nestajanja“. To je bio Marko Matikola, pomorski kapetan, koji je u istoriji tog vremena zauzimao veoma ugledne položaje.
Kao što su svi iz ovog sloja peraškog društva imali svoje palate, tako je i porodica Balović imala svoj „dvor“ i crkvu na pjeni od mora. Ni palata ni crkva nisu grandiozne bijele građevine, kakve krase Perast, već sasvim dovoljno velike da pokažu porodični status onog vremena, ali jednostavne i nenametljive, malo sakrivene između zidova stare ulice.
Palata Balović je barokna građevina, izgrađena u XVIII vijeku, na tri sprata, sa vidikovcem i malim kamenim balkonom na sredini palate. Na drugoj liniji od mora, palata je dijelom sakrivena iza kamenog tunela kroz koji protiče voda, iz peraškog brda, ispod palate, pa u more. Ovo mjesto je nazvano „bizetina“, a pretpostavlja se da su baš tu Balovići vezivali svoje barke ili manje brodove, sa kojih su direktno ulazili u palatu.
Palata je jednostavna, ali lijepa. Prije njene restauracije, na prvom i drugom spratu se nalazilo ukupno 4 sobe i salon. Prizemlje je vjerovatno služilo kao hladna ostava za vino, a na samom kraju je smješten vidikovac sa pogledom na more i susjedni Stoliv.
Nakon Drugog svjetskog rata, bogati porodični arhiv i biblioteka su odneseni iz Perasta. U Muzeju grada Perasta se čuva dobro očuvan porodični salon, grb Mletačke Republike sa grbom porodice, kao i neki posebni predmeti koji su se nalazili u palati.
Kažu da je u palati Balović ljetovao Petar II Petrović Njegoš, i da je baš tu nastala jedna od najljepših ljubavnih pjesama, „Noć skuplja vijeka“. Ne samo da je vladiku očarao Perast, već i lijepa Peraštanka, kako to samo Bokeljke umiju. Nikad se nije saznalo ko je djevojka koja je zauvijek ušla u srce crnogorskog vladike, ali se njen lik kasnije provlačio kroz neka Njegoševa djela. Zasigurno je na vladiku ostavila veliki utisak.
„Plava luna vedrim zrakom u prelesti divno teče, ispod polja zvjezdanijeh u proljećnu tihu veče.“
— Petar II Petrović Njegoš, „Noć skuplja vijeka“
Na samom kraju Perasta, put Kotora, između velikih kamenih palata i kuća, skromno mjesto je zauzela mala crkva Gospa od Karmena. Crkvu su, po predanju, izgradili Balovići, sredinom XVII vijeka. U crkvi se, između ostalih, nalazi grob porodice Balović, iz 1718. godine, najstariji u crkvi.
Sa jedne strane crkve nalazi se primorski zvonik „na preslicu“, okrenut ka gradu, a ne ka moru, i nije smješten iznad oltara, što je izuzetno rijetko. Ispod zvonika su izgrađene spoljašnje kamene stepenice koje predstavljaju bočni ulaz u crkvu. Iznad glavnog ulaza nalazi se kameni barokni trougao sa Madonom i ukrasni prozor u obliku ružinog cvijeta — rozeta.
Uglavnom su sve crkve i palate u Perastu izgrađene od izrazito bijelog kamena sa Korčule, ali ne i ova crkva. Gospa od Karmena je lijepi hram peraške porodice, izgrađen od domaćeg peraškog kamena, koji je vađen iz peraške luke.