A. Voss dzimis latviešu kolonistu zemnieku ģimenē Sibīrijā. Beidza Omskas apgabala Vikulovas rajona Ozerņinskas pamatskolu (1929). Mācījās Vikulovas nepilnajā vidusskolā (1930–1933). 1933. gadā beidza trīsmēnešu nepilno vidusskolu skolotāju kursus, pedagoģiskā institūta sagatavošanas kursus (1936–1937). Mācījās Tjumeņas Valsts Pedagoģiskajā institūtā (1937–1939), ieguva vidusskolas skolotāja diplomu. Beidza Sarkanās armijas kara apgabala politdarbinieku kursus (1941). Mācījās Padomju Savienības Komunistiskās partijas (PSKP) CK Augstākajā partijas skolā Maskavā (1945–1948), PSKP CK Sabiedrisko zinātņu akadēmijas aspirantūrā (1950–1953) A. Vosam piešķirts ekonomikas zinātņu kandidāta grāds.

Pēc Otrā pasaules kara visa ģimene (vecāki, brālis un māsa) pārcēlās uz Latviju. 1933.–1935. gadā A. Voss strādāja par pamatskolas skolotāju, pasniedza matemātiku un fiziku, bet pēc tam līdz 1936. gadam – par vidusskolas matemātikas skolotāju Omskas (Tjumeņas) apgabala Vikulovas ciema vidusskolā. Pēc institūta beigšanas strādāja par matemātikas skolotāju Armizanskas vidusskolā Omskas apgabalā, kur 1939. gadā A. Vosu uzņēma par partijas biedra kandidātu.

10.1940. A. Vosu iesauca armijā. Beidza pulka skolu, 02.1941. tika nosūtīts uz armijas politdarbinieku kursiem Maskavā. 25.06.1941. pirms termiņa beidza kursus un tika nosūtīts par politdarbinieku pretgaisa aizsardzības zenītartilērijas daļā, kur 02.1942. A. Vosu uzņēma partijā.

06.1942. viņu nosūtīja uz 43. latviešu gvardes divīziju par artilērijas diviziona komisāru. 19.01.1943. A. Voss tika smagi ievainots pie Staraja Rusas. Pēc izārstēšanās demobilizēts, strādāja atkal par skolotāju Vikulovas vidusskolā; 08.1943. iecelts par tās direktoru.

03.1945. A. Vosu nosūtīja Latvijas Komunistiskās (boļševiku) partijas LK(b)P CK rīcībā, strādāja par Skolu nodaļas instruktoru. 1945. gada rudenī sāka mācīties PSKP CK Augstākajā partijas skolā Maskavā. Pēc tās beigšanas LK(b)P CK Zinātnes un augstskolu sektora vadītājs (1948–1949). Latvijas Valsts Universitātes partijas organizācijas sekretārs (10.1949.–09.1950.). Pēc mācībām Sabiedrisko zinātņu akadēmijā Maskavā LKP CK Zinātnes un kultūras nodaļas vadītājs (no 08.1953).  LKP CK Partijas orgānu nodaļas vadītājs (no 06.1954.). Šajā amatā līdz 01.1960., kad Arvīda Pelšes vietā tiek ievēlēts par LKP CK sekretāru propagandas un aģitācijas (ideoloģijas) jautājumos. Vienlaicīgi vadīja arī CK Ideoloģijas nodaļu (1963–1964). LKP CK pirmais sekretārs (04.1966.–04.1984.; priekštecis A. Pelše, pēctecis Boriss Pugo). PSRS Augstākās Padomes Tautību padomes (tajā bija pārstāvētas PSRS nacionāli teritoriālās vienības) priekšsēdētājs (11.04.1984.–25.05.1989.).

LKP CK biroja loceklis (1960–1962), CK Prezidija loceklis (1962–1966), LKP CK biroja loceklis (1966–1984). PSKP CK loceklis (1971–1990). Latvijas PSR Augstākās Padomes deputāts (no 1955. gada; 4.–11. sasaukums). PSRS Augstākās Padomes deputāts (no 1966. gada;  8.–12. sasaukums). Baltijas Kara apgabala Kara padomes loceklis (1966–1984). No 1989. gada pensijā, dzīvoja Maskavā.

A. Voss bija A. Pelšes kursa turpinātājs Latvijā, kas nozīmēja republikas interešu pakļaušanu vissavienības interesēm, kursu uz pastiprinātu industrializāciju, ignorējot tās izraisītās etniskā sastāva izmaiņas un nacionālo attiecību saasināšanos. A. Voss PSRS mērogā sevi pozicionēja par internacionālistu, kurš rūpējas par harmoniskām starpnacionālajām attiecībām, etnisko pretrunu pastāvēšana tika noliegta. Rūpniecības paplašināšanās un imigrācijas veicināšana bija ne tikai A. Vosa “nopelns”, šādu kursu atbalstīja arī no Maskavas atsūtītie CK otrie sekretāri, it sevišķi Nikolajs Beluha (Николай Андеевич Белуха, amatā 1963–1978), bet A. Voss nekad tam neiebilda. Rezultāts bija ne tikai lauksaimniecības attīstības tempu bremzēšanās, salīdzinot ar Igauniju un Lietuvu, bet arī Latvijas kopējā relatīvā ekonomiskā īpatsvara samazināšanās Baltijā, vides problēmas un spriedze nacionālajās attiecībās. Ideoloģijas un kultūras jomā uzsvars tika likts uz kontroli, nodrošinot, lai visas kultūras izpausmes pēc iespējas tiktu pakļautas pastāvošo institūciju (komjaunatne, Kultūras ministrija, radošās savienības, arodbiedrības utt.) pārraudzībai, iesaistot šajās darbībās arī Valsts drošības komiteju. Mērķis bija ne tik daudz izskaust ideoloģiski nevēlamās parādības, cik radīt iespaidu Maskavā, ka viss tiek kontrolēts.

A. Voss bija nepopulārs latviešu vidū, jo tika uzskatīts par konsekventu A. Pelšes uzsāktā Latvijas interešu pakļaušanas Maskavas interesēm turpinātāju. Tas atspoguļojas arī memuāru literatūrā un publicistikā, kurā viņš gan parasti tiek pieminēts garāmejot, nereti anekdotiskā kontekstā. Īpaši nepopulārs A. Voss kļuva 20. gs. 70. gadu vidū, kad Latvijas veikalos strauji samazinājās apgāde ar gaļu un sviestu, jo tika uzskatīts, ka tas ir tādēļ, ka viņš, izkalpojoties Maskavai, pieļāvis piegāžu palielinājumu vissavienības fondos.

A. Voss bija kabineta aparāta darbinieks, kas nekad nebija strādājis rajona līmeņa partijas darbā un neizcēlās ar vēlmi komunicēt ar vienkāršajiem cilvēkiem. Oficiālos gadījumos nekad neuzstājās latviski, tādēļ daudziem bija priekšstats, ka viņš nepārvalda latviešu valodu, lai gan tā nebija. A. Vosam nepiemita intelektuālas intereses. Viņš, salīdzinājumā ar saviem priekštečiem pirmā sekretāra amatā, pārstāvēja citu partijas nomenklatūras paaudzi, kura vairs augstu nevērtēja askētismu un pieticību ikdienas dzīvē. Viņam patika izmantot visas privilēģijas, ko deva ieņemamais amats – banketus, somu pirtis, medības, ārzemju ceļojumus.

Kad 28.05.1988. LKP CK plēnumā notika delegātu ievēlēšana dalībai XIX PSKP konferencē, sarakstā kā Latvijas delegāts bija iekļauts arī A. Voss, kas izraisīja iebildumus. Viņš saņēma vislielāko balsu skaitu “pret” no visiem delegātiem, bet tomēr A. Vosu ievēlēja. Tika sūtītas protesta vēstules uz Maskavu, bet tas neko nemainīja.

A. Voss apbalvots ar četriem Ļeņina ordeņiem (орден Ленина), Oktobra Revolūcijas ordeni (орден Октябрьской Революции), diviem I pakāpes Tēvijas kara ordeņiem (орден Отечественной войны), četriem Darba Sarkanā Karoga ordeņiem (орден Трудового Красного Знамени), daudzām medaļām.