Био је рођен око 1480. године као син сликара писама и илустратора књига Улриха Алтдорфера који је радио у Регензбургу између 1478. и 1491. године. О Албрехту Алтдорферу имамо мало података о његовом поводу и јако је мало података о његовом животу и не знамо где и како се образовао. Године 1505. Албрехт стиче грађанска права. У овом граду је радио као градски архитекта од 1526. све до смрти. У његове ране радове убрајају се цртежи малог формата у светло-тамном колориту који су што се тема тиче под италијанским утицајем. Из овог периода потиче и низ бакрореза. Два путовања по Дунаву у периоду од 1503. до 1505. године и 1511. године довела су га у везу са уметничким сликама такозване Дунавске школе које су пресудно утицале на његов рад. Око 1515. учествовао је у раду на Диреровој почасној капији и на молитвенику (цртежи на маргинама) цара Максимилијана I.