用“黄色”来形容色情的东西源于19世纪末的美国，当时报业大亨普利策为了增加自己报纸的发行量，在报纸上刊登一组低级趣味的连环画一一 《河干小径的黄色孩童》，画中的主人公是一个穿着黄色睡衣、缺齿傻笑的小孩子。连环画刊登后，报纸发行量剧剧增。同样为报业大亨的赫斯特随后也刊登了这组漫画，而且，他在这个漫画形象的启发下，在《太阳报》上创造了一个“黄孩子”的形象，同时在报纸上还刊登大量仇杀、色情、犯罪活动的报道和各种充满刺激性的轶闻奇事，人们就把这些新闻称为“黄色新闻”，“黄色”一词便由“黄色新闻”转化而来，代指犯罪、色情。
于是我国也借鉴了这个用法，用黄色指代色情。
而你说的用blue代表色情这种现象比较有限，应该是blue movie代表黄色电影。blue在英文里有高贵血统的意思，可是同时又有色情的意思。blue的这种意义来源不可考，大概是由于过去表演脱衣舞时常打蓝色的灯光。blue movie从这个内容上来说，可以作为在西方影院放映的pornographic movie的同意语，但是blue movie主要是指在男人俱乐部或集会中上映的短片。与之类似的表达还有blue jokes
