西晋灭亡之后，北方少数民族纷纷南下，扩张势力，争夺地盘，在一百多年中先后建立了许多政权，形成了分裂割据的局面。过去史书上说有五个少数民族建立了十六个国，称之为“五胡十六国”。实际上，建立政权的不止五个少数民族，还有汉族，政权也不止十六个，其中，匈奴族有三个政权，羯族有一个政权、鲜卑族有九个政权，氐族有三个政权，巴氐族有一个政权，羌族有一个政权，汉族有五个政权。北燕(今河北省东北部、辽宁省一带)是汉族五个政权中的一个。北燕从公元409年建立政权，436年为北魏所灭，共立国27年。前已述及，渤海高氏高隐率族人从蓓县迁至幽州，幽州在北燕的统治范围内，故高隐之子高庆、孙高泰、曾孙高湖三世都仕于北燕。高庆官至太子詹事、司空，高泰任吏部尚书，高湖任散骑常侍。慕容宝即位以后，任命高湖为征虏将军、燕军太守。后来慕容宝出走和龙(今辽宁省朝阳县)，兄弟相残。高湖见北燕国力衰退，就率领族人三千户投奔北魏，居于东阿镇。北魏太祖通武皇帝赐爵高湖为东阿侯，并封右将军、镇西将军、秦州刺史等职。

高湖生有四个儿子，长子高真，次子高各拨，四子高稚，三子高谧，官至侍御史，后因触犯法律，被发配到怀朔镇(今山西省朔县，后魏六镇之一)。高谧生子高树生，任镇远将军，官至大都督，死后被追封为冀州刺史、渤海王。据《北齐书·帝纪第一》载，高树生，性情直率，不爱管理家业，居住在白道(今内蒙古呼和浩特西北)以南，因他居住的地方数次出现赤光紫气，邻居们都认为此现象怪异，多次劝他搬家。高树生却说：“怎么就知道这不是吉祥的征兆呢?”于是仍旧居住在那里。直到高欢出生，其夫人韩氏死去。