Fils d’agriculteurs, aîné de 13 enfants, né le 22 juillet 1864 à Dalias, au sud de l’Espagne, il se montra particulièrement pieux dans son enfance, et c’est tout naturellement qu’il entra en 1876 au séminaire d’Almeria. Il étudia par la suite dans les séminaires de Grenade et de Madrid ; c’est dans cette dernière ville qu’il fut ordonné prêtre, le 24 septembre 1887.

Vicaire puis curé dans des villages de la communauté de Madrid, il se montra d’une grande austérité et d’un profond dévouement pour les pauvres. Licencié en théologie en 1896 et docteur en droit canonique en 1897, il enseigna aussi au séminaire de Madrid la littérature latine, la théologie pastorale et la métaphysique.

En 1904, après un pèlerinage en Terre Sainte, il fit part de sa volonté de rejoindre les jésuites, ordre qui l’attirait depuis ses années de séminaire. Il entra dans la Compagnie de Jésus en 1906 et, quelques années plus tard, fut envoyé à Madrid où il prononça ses vœux perpétuels. D’une grande charité et d’un grand zèle apostolique, il passait de longues heures à confesser et attirait de nombreux pénitents.

José Maria Rubio était aussi un prédicateur infatigable, particulièrement attentif aux plus miséreux. Il passait énormément de temps dans les faubourgs de Madrid et fonda plusieurs plusieurs œuvres et écoles pour venir en aide aux pauvres ; il prit la tête de la Garde d’honneur du Sacré-Cœur. Il mourut à Madrid le 2 mai 1929. Surnommé par son archevêque l’« apôtre de Madrid », il fut canonisé par Jean-Paul II le 4 mai 2003 :

« Saint José Maria Rubio vécut son sacerdoce tout d’abord comme prêtre diocésain puis comme jésuite, avec un don total de soi à l’apostolat de la Parole et des Sacrements, consacrant de nombreuses heures au confessionnal et dirigeant un très grand nombre de cours d’exercices spirituels, durant lesquels il forma de nombreux chrétiens qui devaient par la suite mourir en martyrs pendant la persécution religieuse en Espagne. “Faire ce que Dieu veut et vouloir ce que Dieu fait” était sa devise. »