从名称上来说，河南河北的河是指黄河。河南，因历史上大部分位于黄河以南，故名河南。河北，因位于黄河以北而得名。河南河北成对出现，始于唐朝李世民时期。贞观元年（627年），李世民置十道，河南道因辖境在黄河之南，故名；河北道因辖境在黄河之北，故名。但在唐朝前期，道属于监察区名称，所以河南道和河北道的辖境都比今天大的多。
从分界线上来说，河南河北的河是指漳河。漳河，上游发源于山西长治，下游作为界河在经过区段划分河北省与河南两省边界。公元前422 年，魏文侯以西门豹为邺令（邺地遗址在今河北省临漳县西南的邺镇）。西门豹治邺，成就是多方面的，其中以西门引水渠最为历代人民所称道，当地人民在漳河右岸修“西门祠 ” 纪念他。三国初期，建安 9 年，曹操大败袁绍，占据邺城，后为三国魏之首都。曹操以邺为根据地，为向北方战争运粮，于建安 18 年，曹操组织修复了漳河十二渠。
在清康熙三年（1664年）之前，湖北与湖南还是一个省，称为湖广省。湖广地区在先秦时，还是一大片湖泊，名叫云梦泽，比今天的鄱阳湖、洞庭湖加起来还要大许多。后世湖区范围不断收缩，在今天两湖之界，形成洞庭湖。
战国至西汉，人们是以崤山（今河南省三门峡市东南）或华山（今陕西省华县东）为界来区分山东、山西地区的，当时的“山西”，是指函谷关以西地区，主要是指以秦都咸阳、汉都长安，即今陕西省西安市为中心的地区；当时的“山东”，主要指函谷关以东的黄河流域（包括今天的山西地区），有时也泛指战国时期秦国以外的六国领土。到了东汉，开始以太行山为界划分山东、山西，东汉光武帝曾称赞大将邓禹“斩将破军，平定山西”，即是指今天的山西省地区。这种变化，是与国都的位置相关联的，西周、秦、西汉的国都皆在今陕西省西安市附近，对于这里的人来说，华山或崤山以东的平原地区便是山东；东汉的国都在今河南省洛阳市，故以其北面的太行山脉作为地理坐标，以划分山东、山西。后来地区的界线日益准确，便以“山西河东”来指今山西地区。