С 1919 года живет в Москве. 5 ноября 1933 года, будучи студентом Транспортного института, был арестован и осужден по статье 58-10 ("контрреволюционная агитация и пропаганда") на три года ссылки.
После окончания ссылки скитался по стране, работал шофером, слесарем и т.д. С самого начала войны мобилизован в армию. Прошел с боями от Москвы до Берлина, награжден многими орденами и медалями; начав войну рядовым, окончил ее в звании майора, в должности начальника автослужбы гвардейского стрелкового корпуса.
Первая его повесть, "Кортик", вышла в 1948 году и сразу имела большой успех, как и другие книги писателя - "Водители", "Бронзовая птица", трилогия "Приключения Кроша", "Тяжелый песок"... А роман "Дети Арбата", вышедший в 1987 году, стал настоящим событием в литературной жизни России. Впоследствии Арбатскую трилогию завершили романы "Страх" и "Прах и пепел".
Анатолий Рыбаков - лауреат Государственных премий СССР и РСФСР. Почти все его произведения были экранизированы в кино и на телевидении.