日本宪法的确没明确哪座城市是首都，但东京实际上扮演着日本首都的角色。不仅目前的日本法律没明确哪座城市为首都，其实关于日本首都的位置问题自古以来就是一笔糊涂账——古代日本以天皇所在地为首都，这意味着天皇朝廷的迁徙就是迁都，由此形成了日本古代的藤原京、平城京、长冈京、平安京。公元794年（延历13年）桓武天皇从旧都长冈京迁都平安京（今京都），此后日本的首都就固定于此，以致于“京都”一词在日语里成为这座城市的专有名字。
1185年源赖朝建立镰仓幕府后就使情况变得复杂起来：在此之后的近七百年间日本名义上的最高统治者仍是京都的天皇，然而实际执掌国家军政大权的却是幕府将军。自源赖朝开创幕府制度以来日本先后经历了镰仓幕府、室町幕府、江户幕府三代幕府政权，这其中除了室町幕府和天皇朝廷一样位于京都之外，镰仓幕府和江户幕府都不在京都。由于天皇是日本名义上的最高统治者，所以就理论上而言：幕府时代日本的首都仍是天皇所在的京都，然而幕府所在地才是实际上的政治中心。日本历史上最后一代幕府政权江户幕府所在地江户城正是如今的东京城的前身。
据说江户城最初是镰仓幕府时代一名叫江户太郎重长的武士所开发的，此后江户氏的子孙在这里生活了三百来年，直到室町幕府时代一位名叫太田道灌的武士将他们逐出江户城。太田道灌在治理江户城的三十年间使这里由一个小村庄初步发展成为一个集镇，然而太田道灌被当时日本关东的领主上杉氏杀害，上杉氏又被北条氏灭亡，北条氏把江户城的居民大部分迁徙到了北条家的主城小田原城，在经过这一系列变故之后江户城急剧没落成为杂草丛生的渔村，往日的街市再也不见了踪影。
公元1590年7月崛起于日本战国乱世、即将统一全日本的丰臣秀吉率兵攻打北条氏的小田原城，日后江户幕府的开创者德川家康也随同出兵。话说某一天他们二人一起巡视战场时秀吉用手指着山下此时尚属北条的领地对家康说：“北条的灭亡已迫在眉睫，我打算用北条治下的关东八州来和你现在的领地交换。”家康回答：“好啊，让我们一起小便权且作为合约的见证。”于是他俩转身朝着敌军阵营的方向像顽童一样心情大快地小便。接着秀吉又问：“你进入关东后是将居城安排在这小田原吗？”家康回答“目前放眼关东似乎找不到比此地更适合作为居城之地。”秀吉却说：“我听说武藏有个叫江户的地方地形不错，将那里作为居城如何？”家康回答：“听起来似乎不错。”
《关八州古战录》一书对此事评价道：“这真是决定了关东命运的小便啊！”表面上看起来其乐融融的背后其实隐藏的是秀吉的政治权谋：此前家康的领地是东海五州，如今秀吉以关东八州作为礼物馈赠给家康从表面上看领地扩大了，但这意味着家康必须放弃自家祖传的三河以及后来自己开拓的东海道其余四州领地。退一步讲即使入主关东，已被北条家经营多年的小田原城也比当时还名不见经传的江户更适合作为居城。秀吉之所以要用关东八州交互家康原有的领地并坚持“建议”家康将居城定在江户其实就是希望家康把金钱和精力花费在新领地上，从而削弱德川家的实力。
老谋深算的家康自然看穿了秀吉的企图，不过他却并没硬性抵制秀吉的“建议”——这主要是因为秀吉和家康之间微妙的关系：除了即将被征服的北条外，秀吉已大体统一了全日本，然而家康却是秀吉在统一日本道路上唯一曾战胜过秀吉的强势对手。此时秀吉运用政治谋略纵横捭阖从而成功将家康孤立遏制起来，但并没把握拥有完全战胜家康的绝对实力；家康尽管战胜过秀吉，然而如果此时要和已快要统一日本的秀吉作对，家康自己也无法保证一定能胜出。在这样的局面下其实双方彼此都有些忌惮对方——也许秀吉只是试探一下家康，而并没打算用强，然而出乎他预料的是仅仅一个月之内家康就正式进驻江户了。
天正十八年（公元1590年）8月1日家康正式入驻江户，从此江户城就将8月1日作为节日庆典一直延续到德川幕府倒台。江户城虽名为城，其实除了附近的农户和渔民几乎没人在此居住，几乎就是一片没怎么开发的沼泽地。家康面对此情此景任命伊奈忠次做他的关东代官头（相当于民政长官），由伊奈忠次负责江户的全面改造。此举遭到老臣本多正信的反对——理由是：原先经营东海五州尚任命了多名代官，以关东八州之大却只任命一个伊奈忠次，难道他真有天大的本事能胜任如此繁多的事务？然而家康态度坚决，事后证明重用伊奈忠次改造关东是家康最成功的用人案例之一。
伊奈忠次原是三河国幡豆郡小岛的城主——伊奈忠家的嫡子，后成为德川家康的近侍。被家康委以改造关东重任的伊奈忠次对利根川水流进行了改道——他在河堤上筑起堤坝、铺设大道、开凿运河、架筑桥梁，同时扩大了可耕地面积，从而大大增加了家康领土上的收成。伊奈忠次积极鼓励桑、麻等作物的栽培和兴修水利，使关东八州日渐富庶。茨城县的结城特产细织（柳条细），伊奈忠次就根据产出的捻线绸织予以奖励，从而大大提升了当地农民的生存积极性。他还改革完善了江户的财政和税收体系。与此同时他着手制定一系列适应江户发展需要的法律草案并严厉镇压违法行为。他还领导了对关东土地的清理丈量，为日后德川幕府的农业政策定下了基调。
由于家康把他的家臣及其家属都迁入了江户城，这就使原本并不大的江户出现了人口的大幅增长，对粮食和饮水的需求自然也随之增加，于是如何引水入江户就成为急需解决的问题，于是家康派懂得土木工程的大久保忠行负责引水工程。忠行四处察看后认定井头的水质最佳，于是他沿高田马场经过淀桥到文京区的江户川公元筑堤，再用木制水槽把水引到江户各地，这就是被称为“神田上水”的工程。该水槽全长64.8公里，在其穿行之地凿了四千个水井用来储水以作为饮水及消防之用。该工程耗时二十一年，耗资七万两。后来又从多摩川的羽村引水，在新宿御苑的四谷大木户挖掘了一条长达五十公里的水道。由于该工程是由玉川村的玉川庄右卫门、清右卫门兄弟负责的，所以称为“玉川上水”，据说该工程后期资金不足，玉川兄弟就变卖了自家家产用于工程。
迁入江户后家康得到了意外的收获：伊豆半岛银山的发掘对德川政权的发展而言无疑是一笔极其宝贵的财富。伊豆的银山和佐渡的金山都是由大久保长安管理的：大久保长安早年曾出仕武田信玄，那时他就参与过武田家的矿山开发、土木建设以及土地丈量等工作。武田家被织田信长所灭后他来到德川家避难并迎娶了德川重臣大久保忠邻的女儿，此后他便改姓大久保。庆长八年长安被任命为石见银山和佐渡金山奉行，由此掌握了德川家的经济命脉。由于他对矿山治理有方，极大地充实了德川家的财政，因此被任命为石见守。
另一方面家康还令本多正信和青山忠成等人修城：从土地高处挖土填海平池——首先把挖掘樱田门外壕的土拿来填海，做成了日比谷的市区。德川家原来所统治的三河、骏河、远江、甲斐、信浓五州之人纷纷慕名来到江户。至此江户的城镇建设工程顺利完工，人丁开始日益兴旺起来。在此之后经过江户幕府持续两百余年的治理使江户城发展成为了日本事实上的政治、经济、文化中心：到了幕府末年江户的人口已超过100万，这一数据是位于日本西南地区的萨摩藩总人口的15倍，甚至比起当时正处于全盛时期的大英帝国的伦敦和东亚传统大国中国的北京也不多逊色。相比之下天皇所在的京都发展就滞后得多：天皇甚至一度混到宫中无存粮，需要靠卖字画维生，一般宫女靠卖身过活的地步。
然而京都就是再怎么困窘，却始终以传承着皇室万世一系的荣光自居。由于天皇朝廷在日本人精神领域的统治地位使江户尽管已成为日本事实上的政治、经济、文化中心，却始终无法取代京都在国民精神领域的地位。在这样的局面下京都的朝廷公卿们都养成妄自尊大的因循守旧之风，直到幕府时代终结之后维新势力发出了剪发髻、易服饰、禁染牙等文明开化命令后京都公卿们仍坚持他们的传统习俗，这让已实际掌握日本政权的维新势力将京都视为守旧势力盘踞的大本营。维新派认为：如果天皇身处守旧势力的包围之中而与人民百姓隔离将不利于维新事业的推进，于是在他们的推动之下朝廷于1868年7月17日颁布了将江户改名为东京（东部的京城）。就在明治天皇即将启程前往东京之际日本最古老的神道场所伊势神宫前的华表在无风的状态下突然倒塌，这立即被京都守旧公卿们视为是不祥之兆并大做文章，不过这到底没能打消维新派迁都东京的决心：1869年5月9日明治天皇及其家属、随员一行3000多人的队伍抵达东京，此前江户幕府历代将军的居住地随即被改造成为明治天皇的皇居，成为此后历代天皇及其皇族的居所。
日本皇室从京都迁往东京后日本政府的各大职能部门也相继迁到东京，至此东京已成为日本事实上的首都，然而明治政府只在诏书中宣布将江户改名为东京，却并没公开宣布迁都东京。尽管事实上日本皇室和政府部门的确迁往了东京，但却一直没明确东京的首都地位。直到二战日本战败之后的美国占领时期从制定了《首都建设法》，言下之意是适用这部法律的城市就是日本的首都，然而这部法律在1956年就已因为美国驻军的干扰而被废止。废止的《首都建设法》同时又制定了取而代之的《首都圈整备法》——这部法律将东京都与周围地区定为日本政治、经济、文化等领域中心的“首都圈”，但在这个圈子里的领头羊是谁却没明确的法律规定。尽管所有人都心知肚明这个首都圈的龙头老大只可能是东京，但就法理依据层面也的确没任何条文明确指出东京就是日本首都。如果非要就法律层面咬文嚼字的话，那么目前日本的首都其实不是一座城市，而是由城市群构成的首都圈，而东京在这个圈子里实际上扮演着中心角色。
