L’edificio risale al XIV-XV secolo. Presenta un bel portale cinquecentesco datato 1523. Poco dopo è consigliabile fermarsi presso il balcone panoramico da cui si gode una vista eccezionale, con il bel litorale adriatico di fronte e a sinistra e destra la dolce collina marchigiana. L’antico portale è ancora visibile sul lato ovest e dimostra, insieme all’abside, che l’edificio in origine era orientato.
L’oratorio era proprietà della Confraternita del Santissimo Sacramento, la cui esistenza è documentata nelle fonti archivistiche almeno fino al secolo XV. A essa fu espropriato con le demaniazioni che ebbero luogo con l’unità d’Italia, come pure furono espropriati alla parrocchia l’orto e il giardino che oggi costituiscono Piazza Amedeo Lattanzi (il Belvedere). Sopra il portale d’ingresso si trova uno stemma del Laterano poiché la Confraternita del Santissimo Sacramento era associata alla omonima di San Giovanni in Laterano e dunque sotto il patrocinio dei Canonici Lateranensi. Il sigillo lapideo fu apposto al tempo di papa Clemente VII (pontificato 1523-1534), come ricorda la bolla pontificia di Pio VI del 1790.
La sua semplice struttura in laterizio presenta una piccola abside a est, una vela campanaria e un portale architravato, che reca uno stemma di Torre di Palme e la data MDXXIII (1523): probabilmente risalgono a quell’anno i lavori di ristrutturazione che portarono all’apertura del portale sulla piazza, alla demolizione del soffitto con volte a crociera – i cui segni sono ancora evidenti nella muratura interna – e alla copertura a capriate che vi è attualmente.