Figlio di un capostazione, Rubini nasce a Grumo Appula (in provincia di Bari). Dopo aver terminato gli studi nel Liceo Scientifico Federico II di Altamura, nel 1978 si trasferisce a Roma per frequentare l’Accademia Nazionale d’Arte Drammatica Silvio D’Amico, che, però, abbandona dopo due anni. Suona il pianoforte.

Grande appassionato di teatro, riesce a lavorare con importanti registi quali Antonio Calenda, Gabriele Lavia, Enzo Siciliano ed Ennio Coltorti anche se – successivamente – ammetterà di aver faticato a trovare spazio nel cinema, in quanto, a suo dire, «per molti anni l’unico pugliese supportato dai grandi produttori era Lino Banfi