Dzimis ebreju namīpašnieka ģimenē Daugavpilī. Viņa tēvs bija Daugavpils goda pilsonis Eljašs (Iļja) Rubins (Эльяш Ицикович Рубин), māte – Etlja Rubina (Этля (Этель) Гиршевна Рубина). Ā. Rubina dēls Vitālijs Rubins (Виталий Аронович Рубин) bija pazīstams sinologs PSRS, pēc izceļošanas (1972) – Izraēlā.
Ā. Rubins mācījās hederā un ieguva tradicionālo ebreju izglītību. Absolvēja Pēterburgas Universtātes (Санкт-Петербургский государственный университет) Juridisko fakultāti un bija filozofijas mācībspēks Maskavas Universitātē (Московский государственный университет имени М. В. Ломоносова). 12.1931. tika atbrīvots no darba augstskolā saistībā ar brāļa, ekonomikas teorijas vēsturnieka Isāka Rubina (Исаак Ильич Рубин) apcietināšanu un nošaušanu, ko izdarīja padomju drošības iestādes. Pēc tam Ā. Rubins gandrīz 20 gadus pelnīja iztiku ar tulkošanu (no vācu, jidiša, ivrita, itāļu, latīņu, poļu, arābu valodas), periodiski strādāja par mācībspēku Kaļiņinas Valsts pedagoģiskajā institūtā (Калининский государственный педагогический институт) un Jaroslavļas Valsts pedagoģiskajā institūtā (Ярославский государственный педагогический институт) (1929–1958). 1944. gadā ieguva filozofijas kandidāta grādu.