三国纷争的公元210年，东吴大将周瑜病死在巴丘。死前遗书孙权说：“鲁肃忠烈，临事不苟，可以代瑜”，于是孙权就任命鲁肃为奋武校慰，令他赶至巴丘、江陵，接掌水军。
戏曲和小说中的鲁肃是一个憨厚的长者，实际上，真实的鲁肃却是“少有壮节，好为奇计”“有过人之才”的将军。鲁肃接掌水军之时正是孙权、刘备激烈争夺荆州之日，巴丘正当江湖汇口，四通八达，为古来水陆争战之地，尤利于水战，成为一个重要的水军据点，可见鲁肃肩上的担子之重。所以，为了防御关羽，也为了防备曹操的南下，公元215年鲁肃选择了洞庭入长江的咽喉之地构筑了险固的巴丘城，同时在城西依山临水、地势高敞之处，建起了训练和检阅水军的阅军楼。这就是岳阳楼的前身。
以后这古楼多次在阅军楼的基础上修圮，先后被称作“巴陵城楼”（因为它筑在巴陵城门之上）、“洞庭连天楼”，只不过那时仍是阅军楼的规模而已。直到唐朝的开元四年（公元716年）中书令张说谪守岳州时，才把阅军楼扩建为一座庄严壮丽的楼阁，初步奠定了岳阳楼的规模。不过，那时因为这座楼在郡署的南边，所以只得了“南楼”的名字。“岳阳楼”名字的出现还是在唐肃宗中期（公元756-762年），大诗人贾至被贬到岳州时写的《岳阳楼重晏王八员外贬长沙》的诗里。
从阅军楼到岳阳楼，就当时的生产水平和岳阳地理基础而言，都不是易事。据说当时修这样一座楼，非一般能工巧匠所能为，连木匠师傅的祖师爷---鲁班仙师也亲自下凡帮忙了呢！
说是唐玄宗的时候，岳州来了一个姓张的太守。他上任的第二天，就带着书僮到巴陵老城去转了一圈。当他走到三国鲁肃的阅军楼时，不禁被那里的山光水色迷住了：只见洞庭湖浪涛连天，君山在波中时隐时现。巴陵山郁郁苍苍临水矗立，只可惜，这座阅军楼在这广阔宆宇间太简陋了。于是他心里就萌生了在此修一座庄严、漂亮楼阁的打算。
到底把楼阁修成什么样子呢？太守心里没有一点底。忽然他心里一亮：既然没有前人的样子，那么不如干脆出榜招贤。谁能修好这座楼，重重有赏。不过，要是修不好，不仅工料全赔，还要受罚。
这样的榜文，条件实在有点苛刻，所以榜贴出去以后，看的人挤黑了街，可是没有一个人敢揭榜。到第三天头上，来了一个年轻的后生把榜揭了。
太守一看此人，年不过二十七、八，背着一套木匠家什，实在不像有什么绝技在身。就问：“年轻人，你能够接这么大的活计吗？”年轻人说：“世间无难事，只怕有心人，只要有了心，功到自然成。只要大人给我时间准备，到时候保证大人满意。”
“你要多少时间准备？”
“半年访遍江南名楼，一年完工。”
“好，我就等你一年。”太守答应了。
小木匠带着家具边做工边考察江南各大名楼。一直没想出一个比较满意的样式。半年快过去了，这一天他听说几十里外有座楼十分奇特，就背上家什去看。走着走着，前面有条大河拦住了去路，河上白浪滔滔，雾气袅袅，他沿河上上下下找了一个时辰，也没找到桥，眼看天要黑了，今天过不去就又要耽误一天，小木匠把心一横下了水，朝对面游去。江面太宽了，天气又冷，小木匠游着游着终于支持不住了，一个劲地往下沉。正在这个时候，浪花里来了一只小船，一个老艄公把他救了上来。
“孩子，你到什么地方去呀？怎么急得连命都不要了？”艄公问。
小木匠把如何揭榜，如何考察江南名楼，如今期限已到，仍然没有满意的结果，如此这般地说了一遍。老人听了，翘起大拇指连连夸他：“好！后生子有志气！”说完，弯腰从船舱里拿出一只鸟笼子对他说：“我把这只鸟笼子送给你，看看有没有用。”
小木匠一看，呀！这只鸟笼子好精致，上下三层，浑然一体，窗棂隔扇，玲珑剔透，式样特别美观。这不正是心里想的那楼样子吗？只是他看了半天也看不出这个鸟笼是怎么做出来的。于是他抬头问：“请问老人家，能不能把他拆散，告诉晚辈做一遍呢？”
老人笑眯眯地回答：“世间无难事，只怕有心人，只要有了心，功到自然成。”
小木匠回到家里，把鸟笼摆在桌上看了三天三夜，还是没看出门道来。眼看各地工匠已云集巴陵，工程马上开始，可是自己还没拿出式样来，气得他直骂自己：“人家能做出这么精致的东西，我却连解都解不开，这十七、八年的木匠手艺不是冤枉学了吗！”说着，他气得一拳头往桌上捶去，打得鸟笼子一下跳起一尺多高，掉在地上摔得散散的。小木匠一下子呆了，盯着那散了一地的木棍子，眼泪涮涮地往下流。哭着哭着，他又哈哈大笑起来。原来，他发现每一根木棍子头上，都做着小小的记号，按照这些记号一一拼起来， 一个精致的鸟笼子又还原了。
修楼工程开始了。工地上人来人往，热热闹闹，小木匠当了掌墨师，忙得不得了。正在这时来了一个七老八十的老木匠，背着一套缺牙破口的工具，找掌墨师傅要事做。小木匠抬头一看，觉得此人有点面熟，可一时又想不起在哪里见过，就吩咐徒弟说：“你去招呼这位老师傅，随便给他点事做吧！”老木匠说:“掌墨师傅，我可不是混饭吃的，要是看得起，就交一筒大料给我，说不定我能帮你个大忙呢！”
小木匠心想：老师傅这么大年纪，难得有这番心意，也莫莫负了他一片好心。好在工地上这么多人，也不多了他一个。于是就说：“既然如此，你就到河坡下自己选一根料，想做点什么就做点什么吧！”
老木匠到了河坡下，选了一根又直又大的树，然后就从早到晚守着它砍呀，刨呀，谁也不知他要做什么。有人忍不住问他，他说：“莫问，到时候要派大用场的。”就这样过了三三见九天，老木匠终于停了下来。别人以为他要走了，谁知他又拿出墨斗弹起线来。弹一条线，他就坐下来想一会。弹一条，又想一会。就这样左一条，右一条，横一条，竖一条，老是弹来弹去。学徒伢子跑过来问他，老木匠还是那句话：“莫问，到时候要派大用场的。”就这样，他又弹了三三见九天的墨。到了第十天一大早，老木匠把学徒伢子喊过去，拿出一根小尺，对他说：“我要走了，麻烦你十多天，没别的送你，就把这根小尺留给你作纪念吧！”说完话，自顾自地扬长而去了。
这天，工程到了最后一个阶段。四梁八柱件件齐备了。就是托起房顶的“如意斗拱”左拼右拼总也合不拢。一龙堵住千江水，工程只好停了下来。太守一天来催三次，急得小木匠象热锅上的蚂蚁，团团转。这时候，那个学徒伢子突然想起了那个来历不明的老木匠留下来的那筒料，急忙说：“老师傅留下了一筒料，说是要派大用场的，不知道能不能做斗拱？”
小木匠听了，先是一喜，可是一看到那些乱七八糟的墨线又是一气：“这是什么如意斗拱呀！”说着，对准那木料就是一斧头。谁知斧头刚一碰到木料，那根树哗哗地就散开了，撒了一地如意斗拱！用它拼到楼顶上去，刚刚合适！
小木匠连忙问学徒伢子：“老师傅人呢？”
学徒伢子说：“早就走了。”
小木匠问：“走时说了什么？”
学徒伢子：“什么也没说。只送给我一把小尺子。”
小木匠接过小尺一看，只见一面的头上写着一个“鲁”字，一面写着一个“班”字。这时，他才想起，这个老木匠就是送给他鸟笼子的老艄公，难怪看着那么面熟呢！
在岳阳这个故事，经过人们口头流传，已经演绎出许多“版本”，尽管它“传”得有点“神”，但多少也反映了岳阳楼的珍贵和神奇！