Najstarija crkva na otoku sagrađena je na samom početku unijskog Polja te u blizini dviju lokvi od kojih su manju koristili ljudi dok je veća služila za napajanje stoke. Postoji legenda o nastanku crkvice koja je povezana s gusarima ili kako na Unijama kažu Kursari. Gusari su često upadali u selo te uzimali ljudima žito, volove i dr., pa bi ljudi bježali i skrivali se da i njih ne otmu. No, jednu je noć selo od gusara obranio nepoznati čovjek. Nakon što se razdanilo gusari su uspjeli ući u pusto selo gdje su zatekli samo djevojku sa tek rođenim djetetom. U sobi gdje je djevojka ležala gusari su ugledali sliku čovjeka koji im tu noć nije dozvolio ući u selo: bio je to sam sveti Andrija. Zahvalni Unijani su na mjestu gdje ih je svetac obranio od gusara podigli crkvu njemu u čast.
Da su Unijani zaista bili na udaru gusara i pirata, svjedoče nam pisani povijesni izvori. Tako su ulcinjski pirati 1686. napali i opljačkali Unije, te oteli čak 67 mještana među kojima je bio i unijski župnik. Piratski brod nakrcan plijenom i otetim ljudima nevrijeme je nasukalo blizu mjesta Božava na Dugom otoku, pa su Božavljani napali pirate i oslobodili nesretne Unijane, te su se ovi sretno vratili na svoj otok.