Nel cuore del centro storico, dietro al palazzo comunale, si trova l'Oratorio detto dei Bianchi, perché fondato dalla "Confraternita della Sacratissima Vergine Maria, del protomartire S.Stefano e della SS.Trinità" (anticamente dei Disciplinanti), chiamati anche "i Bianchi" dal colore delle loro cappe. La confraternita era già presente a Rapallo dalla metà del XIII secolo nell’adiacente pieve di Santo Stefano, mentre verso la metà del Quattrocento trovò sede nell’Ospedale di S. Antonio dove rimase almeno sino alla fine del Cinquecento. La Confraternita tra il Sei e il Settecento costruì il nuovo oratorio, con la struttura tipica degli oratori genovesi ad una sola navata; venne dotato di un piccolo campanile, e dedicato inizialmente alla Vergine Maria, e solo molto più tardi, alla Santissima Trinità perché destinato anche all'insegnamento della dottrina cristiana alla gioventù.
Per un certo tempo l'oratorio ebbe un collegamento diretto con l'attiguo ospedale ed i confratelli potevano accedere attraverso una scala ad un dormitorio.
L'attività della Confraternita risulta assai viva nel lento trascorrere del tempo e non v'è epoca nella quale non si trovino donazioni ed atti testamentari che destinano beni ed offerte all'Oratorio nel quale, fra l'altro, si venerava una dolcissima Madonna con Bambino, scultura lignea del XV secolo, di probabile scuola pisana, forse in precedenza custodita in S. Stefano.
Il 2 agosto 1655 il cardinale Stefano Durazzo, arcivescovo di Genova, approvava i nuovi statuti della Confraternita che, il 2 settembre 1647, era stata aggregata all'Arciconfraternita del Gran Gonfalone di S. Lucia in Roma.
All'interno dell’oratorio sono esposti oggetti processionali come i pesanti fanali, una statua lignea quattrocentesca di scuola pisana raffigurante la Madonna col Bambino e una cassa con la rappresentazione del martirio di San Sebastiano (1700) dello scultore genovese Anton Maria Maragliano, restaurata nel 1995. Gli stalli cinquecenteschi furono trasferiti nell'Oratorio dei Bianchi nell'Ottocento e provengono dal Monastero della Cervara, da cui furono tolti dopo la sua soppressione.
È con buona probabilità del 1779 la datazione dell'organo racchiuso in una splendida cassa barocca, che è sistemato nella cantoria sulla parete di fondo dell'edificio. È un vero gioiello nel suo genere e lo si attribuisce a Tomaso II Roccatagliata, appartenente ad una famosa famiglia di organari di Santa Margherita Ligure.
L'oratorio custodisce anche tre magnifici "Cristi", riccamente ornati, che vengono portati in processione durante le feste patronali; il più antico è del XVIII secolo.