古代中国以黄色为尊。因为古人认为黄色代表“中心”。
黄者中也。——《礼记·郊特牲》
黄中之色也。——《左传·昭公十二年》
黄为土色，位在中央。——《论衡·騐符》
那么，这是古代崇拜黄色的原因。
后来所谓的“黄色”，也就是“色情”，则有不止一个说法。很多人都认为，所谓“黄色”，是由于O.Wilde因同性恋的罪名遭到逮捕时，其腋下夹着一本《黄杂志》，但实际上已经有证实说，当时O.Wilde夹的是法国作家比尔·路易的小说《爱神》，但不管怎么说，都是黄颜色封面的。
——实际上这个说法并不怎么严谨，也不知道是谁瞎编的。
一般认为，黄色代表色情，源于基督教。基督教本身，原本没有固定的色彩意义。直到1889年，高更的油画《黄色基督》问世，在当时倍受争议，之后，基督教将黄色做了更进一步的区分。
一是明快纯洁的明黄色，代表天堂和快乐；一是浑浊的暗黄色，代表非理智、冷漠、卑劣的罪孽。
而色情，就同时具有这两种内涵：快乐和罪孽。
所以，首先是基督教认可了这种色彩意义，基督教首先流传或者说流行这种观念，以“黄色”来代示“色情”。
然后就是一般大众受到影响。因为欧美国家都是以基督教为主流宗教嘛，而正巧在19世纪末，化学技术进步，研究出一种廉价的黄色纸张，很多非法小报都用这种廉价黄纸来印刷，搞到后来，美国所有报纸中，有三分之一的非法小报都在讲一些诲淫诲盗的东西，而这些小报无一例外全部用这种黄色纸张出版，人们只要一看到这种黄色纸张，再加上人民受基督教流行语的影响，就逐渐把用“黄色”暗示“色情”这个印象固定了下来。
到了20世纪中期，美国又开始兴起了“性解放运动”，一帮疯子高呼着“打破禁欲观”，故意又再提起高更《黄色基督》油画的梗，特意用黄色来显示“性解放”，这也使得黄色代表“性”这个观念彻底成形。
20世纪末，这种观念由某些海归或是港澳台地区的基督徒，带到了我国。由于这种观念已经“国际化”并且固化，于是后来也使得我国认可了这种代称。所以说，“黄色”与“色情”联系，其实主要还是基督教徒的推波助澜。这种观念源于基督教，也靠基督教传播，最终流行于全世界。