岳麓山自古就是文化名山。西晋以前为道士活动地，曾建有万寿宫、崇真观等。

北宋开宝九年（公元976年），潭州太守朱洞在原僧人办学的遗址上，即岳麓山下的抱黄洞附近正式建立起了岳麓书院。

北宋大中祥符年间，岳麓书院进入了北宋的鼎盛时期。大中祥符八年（公元1015年），宋真宗亲自召见山长周式，对周式兴学颇为嘉许，亲书“岳麓书院”匾额。

在周式执掌下，岳麓书院的从学人数和院舍规模都有很大发展，遂成为天下四大书院之一。

两宋之交，岳麓书院遭战火洗劫，乾道元年（1165年）湖南安抚使知潭州刘珙重建岳麓书院。他还延聘著名理学家张栻主教岳麓，更加强了岳麓书院在南宋教育和学术上的地位。

张栻主教期间，以反对科举利禄之学、培养传道济民的人才为办学的指导思想，培养出了一批如吴猎、赵方、游九言、陈琦等经世之才的优秀学生。

乾道三年（公元1167年），朱熹来访，与张栻论学，举行了历史上有名的“朱张会讲”。前来听讲者络绎不绝，时人描绘“一时舆马之众，饮池水立涸”。

元初因书院师生誓死抵抗异族统治，书院被蒙古兵焚毁，但不到十年又得以重建起来。

到了明初，朱元璋奉行“治国以教化为先，教化以学校为本”的政策。重视地方官学的复兴，而不倡导书院教育。全国书院颓废，岳麓书院也因此沉寂了百余年。

成化年间，书院开始逐渐恢复。宣德七年由民间集资促成岳麓书院最早的一次修复。

成化五年长沙知府钱澎再次兴复书院，但不久又废。弘治七年长沙府通判陈钢终于使岳麓书院基本恢复旧貌。

自宣德始，经地方官员陈钢、杨茂元、王韬、吴世忠等多次修复扩建，岳麓书院主体建筑第一次集中在中轴线上。主轴线前延至湘江西岸，后延至岳麓山巅，配以亭台牌坊，于轴线一侧建立文庙，形成了书院历史上亭台相济、楼阁相望、山水相融的壮丽景观。书院的讲学、藏书、祭祀三大功能得到了全面的恢复和发展，奠定了现存建筑基本格局。

正德二年，阳明心学一代宗师王守仁来岳麓讲学。王守仁及其弟子在岳麓书院的讲学是继南宋湖湘学派之后，岳麓书院的又一次重要学派活动，导致了岳麓书院又一个学术繁荣期的到来。

直到今年八月张献忠部队进攻长沙，尹先民为首的官军献城投降。书院的师生却不愿从贼，奋起反抗，使得书院几乎毁于一旦。

这样一个传承千古书院，被毁掉了很可惜，但对秦牧来说，这却是一个难得的契机。