Danas njim dominira svjetionik koji se nalazi na visini od 69 metara. Sagrađen je 1873. godine te je svojedobno bio najveće svjetlosne snage na cijeloj istočnoj obali Jadrana. Sagrađen je na mjestu benediktinskog samostana koji se na otoku nalazio od sredine XIII. do XVIII. stoljeća. Od njega je danas ostalo sačuvano jako malo; bunar i djelić kule te manji ostaci zidova. 

O njegovom izgledu se zna tek ponešto budući da su originalni nacrti izgubljeni. To je jedini od pet benediktinskih samostana na području Republike koji nije ostao sačuvan. Budući da je otok često bio na meti gusara redovnici su imali dva pribježišta; veliku obrambenu kulu te skrovitu špilju koja se nalazi u sredini ponora na jugoistočnoj strani otoka do koje se dolazilo uskom pogibeljnom stazom. U samostan se dolazilo uglavnom po kazni Republike. Izgon na Svetog Andriju u Dubrovačkoj Republici smatrao se jednim od dvije najteže kazne (najteža kazna je bila doživotno zazidavanje okrivljenog u Kneževom dvoru, gdje mu se kroz mali otvor davala hrana). 

Tako je i dubrovački opat i pjesnik iz 16. stoljeća, Mavro Vetranović Čavčić, najveći dio svog života proveo upravo ovdje kao redovnik pustinjak, te je tu stvorio svoja najveća ostvarenja, pišući o tamošnjoj flori, fauni i moru; odabravši pritom za pokoru "špilje, hridine i gomile, kuda gmižu gušterice…" - kako je znao reći. No, jedini, za kojeg se zna da je uspio pobjeći s otoka, bio je Držićev sudrug u Uroti, Frano Lukarević – Burina, koji se jedrenjakom prebacio u Napulj, gdje umire, a da mu Republika nije oprostila.

Više o dubrovačkoj povijesti možete pronaći ovdje