I Fengselsdagbok forteller Speer om sine 20 år i Spandau-fengselet. Det er en dag-til-dag beretning i et strengt fengsel, hvor vokterne består av soldater fra fire forskjellige nasjoner, og det er historisk stoff. Han tar opp sitt forhold til Hitler, rent psykologisk, og sin personlige skyld både i juridisk og moralsk forstand. Og det er en beretning om hvordan man overlever tyve års fangenskap, hvilken teknikk man utvikler for å greie det.