高山族族源的发端最早可以追溯到旧石器时代从大陆迁入台湾的古人类。新石器时代归属于大陆东南越文化圈的台湾高山族先民，在相当长的历史时期内保持着发展的连贯性，成为高山族的主要来源，尔后又逐渐融合了后来迁入台湾的南洋及大陆等地移民。

  台湾最早的古人类为1971年在台南县左镇乡发现的距今2-3万年前的“左镇人”化石，台湾最早的古文化为1968年在台东县长滨乡八仙洞发现的距今1。5-3万年前的“长滨文化”。根据对比研究，“左镇人”与福建“清流人”和广西“柳江人”同属我国旧石器时代南部地区的晚期智人，他们的体质形态基本相同，存在共同的起源，是从华南的直立人经早期智人阶段如湖北长阳人、广东马坝人演化而来的。

  “长滨文化”的大型石器主要用锐棱砸击砾石的方法制造的小型石器，多用锤击法打片，有刮削器、尖状器等，利用砾石加工成大型石器是华南旧石器时代的特点并延至新石器时代，属于华南的石器工艺传统。用锤击法打片并修理的小型石器是贵州、云南、福建旧石器晚期的特点。

  大陆和台湾的考古学者都一致认为，“长滨文化”之源在华南。在最后一次冰期即雨木冰期时，台湾与大陆相连，这是当时大陆古人类迁徙到台湾的凭借。台湾发现新石器早期、晚期遗存，以大坌坑文化、凤鼻头文化、圆山文化和麒麟文化为代表，它们在显示地区文化特点的同时也体现了与大陆南部地区新石器时代文化的相似性。

  尽管当时台湾海峡已经形成，但善于舟行水处的越人仍有部分移徙台湾。三国时，台湾高山族先民称为“山夷”。吴国孙权派遣官兵前往台湾，历时一年。成书于公元264年至280年之间的《临海水土志》，就是根据这次越海到台湾的见闻写成的，是有关台湾高山族先民的最早记载。

  书中称台湾为“夷州”，高山族先民为“山夷”。书中提到：“土地饶沃”，“磨砺青石以作矢簇、刀斧”，“能作细布，亦作斑文布”，“以粟为酒，木槽贮之”，“甲家有女，乙家有男，仍委父母，往就之居，与作夫”，“女已嫁，皆缺去前上一齿”，此外还记载猎首等俗。

  隋代高山族先民称为“流求人”，隋炀帝二次派军队到台湾。《隋书》记载“流求人”的社会情况：“其处少铁，刃皆薄小，多以骨角辅之”；“以木槽中暴海水为盐，木汁为酢，酿米面为酒……衔杯共饮”，“以墨黥手，为虫蛇之纹”，“歌呼蹋蹄，一人唱，众皆和，音颇哀怨。

  扶女子上臂，摇手而舞”；“用刑亦无常准，皆临事科决，犯罪皆断于鸟丫帅”。唐至元代，高山族先民经历了一个主源与各次源逐渐进行大融合的时期，在土著文化继续生存发展的同时，陆续有从大陆及南洋等地移民迁入台湾与土著民杂居并发生融合。

  连横《台湾通史·开辟纪》道：“唐贞观间，马来群岛洪水，不获安处，各驾竹筏避难，漂泊而至台湾……故《台湾小志》曰：生番语言，出自马来者六分之一，出自吕宋者十分之一，迄北十七村多似斐利宾语，说者谓台湾番民自南洋某岛迁来。

  ”又言：“宋末零丁洋之败，残兵义士亦有至者，故各为部落，自耕自赡。”郁永河《稗海记游》道：“相传元人灭金，金人有浮海避元者，为飓风飘至，各择所居。”黄叔敬《番俗六考》道：“新港、萧垅、麻豆各番，昔住小琉球，后迁于此”。

  据研究，台湾西南近海的小琉球屿是南洋土著民乘黑潮北上台湾本岛的中转站。余文仪《台湾府志》道：“南社、猫儿干二社番，其祖兴化人，渡海遭飓风，舶破漂流到台，娶番妇为妻。”以上材料表明，此时入迁台湾者各有其族属与出发地，但以南洋群岛土著民以及大陆汉人为主；入迁台湾的原因或避天灾人祸，或因飓风漂至，人数既为少数，又入土著族居地，民族融合乃大势所趋。

  另外，除大量陶瓷器及钱币外，台湾迄今为止尚未找到隋唐宋元时期的汉人聚落遗存，这说明其间虽有汉人迁入台湾，但由于人生地疏、势单力薄，留居者只能逐渐融入土著族。明代，高山族先民完成了与外来族源的融合而形成为高山族。

  陈第是第一个接触台湾高山族的学者，所撰《东番记》是一篇有关高山族生活文化的实地考察报告。《东番记》中从“东番”的地理分布与社会组织、战斗与衣饰、岁序与农业、婚姻与丧葬、谷物与畜兽、铁镞与捕鹿、畏海与捕鱼、山居与贸易等方面，详细记述了“东番”的社会经济状况与文化习俗，现代高山族的社会文化特点也均能在这些记述中找到对应。

  一些学者认为高山族作为一个族体在明代开始形成。高山族的形成受到外部的影响主要是，明代和此前大陆汉人愈来愈多的迁入，客观上促进了土著族的经济发展，也促成了高山族的形成。这是因为大批汉人入台，带来了较先进的生产技术，促进了高山族内部的沟通联系，同时也为土著族的文化带来了一个鲜明的异文化参照系，激发了他们内部的向心力和民族认同感。

  清康熙海峡两岸一统后，高山族被称为“番族”，又以分布地域分为“东番”、“西番”、“南番”、“北番”，或以居住地势分为“高山番”、“平埔番”，或以发展水平及其与汉人关系亲疏分为“野番”、“生番”和“熟番”。

  这种分法虽不科学，但基本上反映了高山族内部社会发展不平衡的状况。日据时期，日本侵略者把高山族改称为“高砂族”、“蕃族”。1945年抗日战争胜利后，祖国大陆的出版物开始称台湾世居少数民族为高山族。

  这个名称在1953年得到了国家的确认并一直沿用至今。在谈及高山族的发展时，涉及到高山族这一名称的使用问题。台湾当局在台湾光复初期，也曾使用过“高山族”这一名称，后来又称为“山胞”、“先住民”、“原住民”等。