Nativo della Cappadocia, Saba entro giovanissimo nel monastero di Mutalasca, la città dove era nato nel 439. Desideroso di una vita solitaria, si recò a Gerusalemme e si stabilì nel 478 in una grotta nella vallata del Cedron. Qui presto la sua fama di santità richiamò numerosi discepoli che si insediarono nelle grotte circostanti. Fu così che nel 491 Saba fondò la cosiddetta Grande Laura, un monastero composto da ben centocinquanta edifici e, una volta ordinato prete, ne diventò il superiore.

Dopo essersi schierato nella lotta contro l'eresia monofisista, spirò nel 532. Nel suo monastero, esistente ancora oggi, passarono molti santi celebri tra cui san Giovanni Damasceno. In epoca più tarda a san Saba venne dedicato un monastero situato sull'Aventino a Roma.