传说在上古帝喾高辛氏的时候王宫里有个老妇人得了耳疾，从她的耳朵里挑出一个蚕茧大的顶虫，放在名为瓠篱的葫芦器里。后来这个顶虫化为一只犬，身上有五色斑纹，称之为盘瓠。
这时戎族犯边征讨不下，盘瓠取得了戎族首领的首级。帝喾高辛氏的小女儿甘愿嫁给为国除害的盘瓠。盘瓠背着妻子上了南山，那里草木茂盛，罕无人迹。于是帝喾高辛氏的小女儿、盘瓠的妻子扎起发髻，穿上干活的衣裳跟着盘瓠爬上山，进入山谷，住在石室中。帝喾高辛氏非常思念自己的女儿，但是每次派人去探望总是刮风下雨、地动山摇，阻止前行，没有一个人能进入山谷。
盘瓠和妻子生育了六男六女，他们自相配偶，在盘瓠死后繁衍成了部落，王赐号蛮夷。他们穿着五彩斑斓的衣服，言语怪异难懂，吃饭时蹲在地上，喜欢山林不喜欢都邑。梁州、汉中、巴、蜀、武陵、长沙、庐江等郡的蛮夷无不是这样来的。他们田作贾贩，无关繻、符传、租税之赋，耕作贩卖，没有关卡凭证和租税赋贡。皇帝给他们的部落首领赐予官印绶带。传说糁杂鱼肉，叩槽而号这是蛮夷祭祀盘瓠的礼仪，就是把米饭和鱼、肉掺杂起来放在木槽中，用木棒敲击而呼喊。世称赤髀横裙，盘瓠子孙，露出大腿，穿着短裙的就是盘瓠的子孙。
据说南方苗、瑶、畲族等都是盘瓠的后裔。畲族的宗教信仰主要是祖先崇拜，而祖图是畲族信仰的主要载体。祖图又叫太公图，畲族人把始祖盘瓠的事迹画在布帛上，制成四十幅图像，这四十幅图像畲族人代代相传，就称之为祖图。畲族以盘瓠为图腾，并且传唱《盘瓠王歌》。《盘瓠王歌》又叫《高皇歌》，是畲族的祖源歌，赞颂了盘瓠英勇杀敌、繁衍子孙的丰功伟绩。
拨开神话的色彩来看，散居于闽、浙、赣、皖的古老的畲族究竟族源哪里也有很多不观研究者的观点，实在是众说纷纭。
受到较多认可的观点是畲族来源于长沙武陵蛮。《三国志》里提过武陵蛮夷作乱。武陵蛮是指汉魏时期生活在武陵郡的少数民族。持此种论点者认为，畲族起源于荆湖，从中原或长江中游南迁至闽，到隋唐时遍布了闽、粤、赣三省。将这种观点推进一步者则认为，武陵蛮也不是武陵本地土著，是由东夷迁居而来。从东夷迁居至鄂及湘西者，与当地三苗、氐羌相融合，然后又形成新的族群就是瑶族和畲族。在这个理论基础上，更进一步有人提出，迁居于鄂、湘的是东夷中的一支徐夷。徐夷生活在淮河与黄河之间，地处偏南，沿长江流域进入岭南山脉的是瑶族，从岭南向东，在江西、福建、浙江山区与当地汉族相融合的就是畲族。根据神话探源者认为，畲族是河南地区的夷人，是帝喾高辛氏时代的一支夷人氏族，与高辛氏有亲缘关系。
另有一部分观点认为，畲族属于越人后裔。有的说畲族是越王句践后裔，还有的说畲族是汉晋时期的山越。山越也被一些学者认为是南方吴越的遗民。或者就有人认为，畲族是南蛮，本身就是上古定居在闽、粤、赣的土著，或者是东汉时就久居于广东地区的南蛮的一支。还有的观点认为，畲族本身是福建地区的土著。最包容的观点认为，畲族是迁移来的还是东南本地的民族其实并不矛盾，是武陵蛮、长沙蛮、百越、南迁的汉族，还有湘赣闽粤等等地区的土著民族一起缔造了畲族。
