Bio je rođen oko 1480. godine kao sin slikara pisama i ilustratora knjiga Ulriha Altdorfera koji je radio u Regenzburgu između 1478. i 1491. godine. O Albrehtu Altdorferu imamo malo podataka o njegovom povodu i jako je malo podataka o njegovom životu i ne znamo gde i kako se obrazovao. Godine 1505. Albreht stiče građanska prava. U ovom gradu je radio kao gradski arhitekta od 1526. sve do smrti. U njegove rane radove ubrajaju se crteži malog formata u svetlo-tamnom koloritu koji su što se tema tiče pod italijanskim uticajem. Iz ovog perioda potiče i niz bakroreza. Dva putovanja po Dunavu u periodu od 1503. do 1505. godine i 1511. godine dovela su ga u vezu sa umetničkim slikama takozvane Dunavske škole koje su presudno uticale na njegov rad. Oko 1515. učestvovao je u radu na Direrovoj počasnoj kapiji i na molitveniku (crteži na marginama) cara Maksimilijana I.