萨哈罗夫的父母和祖母玛丽亚·彼得罗夫娜很大程度地塑造了他的性格，虽然他的祖父是俄罗斯正教会的教士，他的母亲也曾给他洗礼，但他的父亲是无神论者，宗教对萨哈罗夫的生活影响不大，尽管他认为一个非科学的“指导原则”在管理着宇宙和人类
1938年，萨哈罗夫入读莫斯科大学，1941年因苏德战争撤离后，他在阿什哈巴德毕业。之后他被派往乌里扬诺夫斯克的实验室工作，在这段时期，他在1943年与第一任妻子克拉夫季娅结婚，并育有一子二女，克拉夫季娅在1969年逝世。萨哈罗夫在1945年返回莫斯科，在列别杰夫物理学院理论部继续学业，1947年取得哲学博士学位。
第二次世界大战结束后，萨哈罗夫开始对宇宙射线的研究。1948年，他参与了伊戈尔·库尔恰托夫领导的苏联原子弹计划，苏联在1949年8月29日对研制的第一种原子装置进行了测试。1950年移居保密行政区萨罗夫后，萨哈罗夫在研制氢弹的过程中扮演了重要的角色，苏联在1953年8月12日对研制的第一种核聚变装置进行了测试。同年，萨哈罗夫得到了科学博士学位，被选为苏联科学学会的会员，并获得了他的第一个社会主义劳动英雄荣誉。随后萨哈罗夫继续留在萨罗夫主导研发苏联首枚百万吨级氢弹，并在1955年进行了测试。有史以来破坏力最大的曾引爆的核武器——沙皇炸弹也是基于萨哈罗夫设计制造的。
萨哈罗夫曾提出兴建一个受控核聚变反应堆——托卡马克，直至现在仍是大部分同类研究的基础，他和伊戈尔·塔姆曾共同提出以环面状的磁场限制高热的离子化等离子体，以控制托卡马克的核聚变。
萨哈罗夫亦曾提出感应重力，作为量子重力的替代理论。
从1950年代后期起，萨哈罗夫开始关注他工作所牵涉的道德和政治问题。他在1960年代开始活跃于政坛，反对核武器扩散。他亦推动各国停止在地面进行核试验，也参与促成了部分禁止核试验条约在1963年的签署。1965年，他重返科学界，开始研究物理宇宙学，但仍继续反对政治歧视。
1967年当反弹道导弹成为美苏关系的重要议题时，萨哈罗夫的政治生涯出现了转折点，1967年7月21日萨哈罗夫在写给苏联领导人的一封信中，他认为苏联应该接受美国的建议，双方共同放弃对反弹道导弹的研发，否则针对这项新技术的军备竞赛将增加核战的可能性。他也请求领导人批准他在苏联一份报章上发表文章，解释反弹道导弹的危险性。当局没有理会这封信，并禁止他在苏联出版书籍展开对这个议题的讨论。1968年5月，萨哈罗夫写了一篇文章，指出反弹道导弹是核战威胁的一个主要因素，这篇文章作为地下出版物被传播并在苏联境外出版后，萨哈罗夫被禁止参与与军事有关的研究。之后他返回列别杰夫物理学院修读普通理论物理学。在1970年代，他与瓦列里·查里兹和安德烈·特韦尔多赫列博夫共同创立莫斯科人权委员会，并因而面对当局更大的压力。
1972年，萨哈罗夫与同为人权行动主义者的叶连娜·邦纳结婚。1973年，萨哈罗夫获得了诺贝尔和平奖的提名；翌年他获得了奇诺·德尔杜卡世界奖。1975年，他获得了诺贝尔和平奖，但他被苏联禁止离境领奖，他的妻子叶连娜在颁奖典礼上代他宣读演讲辞。
1988年，萨哈罗夫获得国际人道和伦理联合会颁发的国际人道主义奖。之后，萨哈罗夫协助了苏联最早的一批独立政治组织的成立，并成为苏联反对势力中主要一员。1989年3月，萨哈罗夫当选为苏联人民代表大会的成员，成为民主改革势力的领导者之一。
