河南省大部分地区都在黄河以南，只有一小部分地区在黄河以北，因此叫河南还是很贴切的叫河南省并不意味着其辖地都在黄河以南，就像是山东省的本意是“太行山以东”，但这也并不代表着现在太行山以东的地区都是山东省的辖地。在今天，太行山以西是山西省，而太行山以东却并不是山东省，而是河北省。
再说，河南省虽然有一部分辖区在黄河以北，但主要地区都在黄河以南，因此叫河南还是很贴切的。
（图中红线就是黄河，可以看到河南大部分地区都在黄河以南）
自元朝以后，中国的条省界都尽量避免完全按照山川河流进行划分，这是为了防止地方政府依靠山川之险进行割据。
“河南”作为地方行政名称最早出现于隋朝，隋朝政府在今天河南省境内设立河南郡、荥阳郡、陈留郡、梁郡等郡。
到了唐朝，唐朝政府又在河南境内设立都畿道和河南道。
（唐代的河南道基本就是在黄河以南，当时河南道面积比现在大多了，除了包括今天的河南省大部以外，今天的山东省大部、江苏省北部、安徽省北部都属于河南道。总之，黄河以南，淮河以北都是河南道辖区）
唐朝灭亡之后，河南道被取消，在北宋建立之初，今天的河南省归属京西路管辖。不过“河南”这个称谓并且没有完全消失，只不过降级为“河南府”，受京西路管辖。
由于级别降低了，河南府的辖区面积也大大缩小，仅为洛阳附近地区。
到了元朝，元朝政府将整个黄河中下游以南和长江中下游以北的地区合并为一个行省，建立了“河南江北等处行中书省”，省会开封。由于这个省的名字特别长，民间多简称为“河南江北省”或者是“河南省”。此时的河南江北省仍旧是基本位于黄河以南，只不过当时黄河的入海口在江苏境内，因此元代的河南江北省不包括山东地区。
（元朝的河南江北行省）
可能是由于版图辽阔的原因，元代的诸省的面积都非常大，但这种过分庞大的省份不利于管理。于是到明代，明朝政府对元代各省进行了拆分，其中河南江北行省被拆成三部分，明政府在河南江北省西部地区设立了河南布政司（仍旧简称为河南省）。
此后为了便于治理黄河以及出于防御的需要，明政府又将黄河以北的几个州府划给了河南省，至此河南省的行政版图与今天基本一致了。
（明朝时的河南地图）