东魏兴和三年（541年），高长恭出生，是东魏权臣高欢孙子、高澄第四子，生母不详。早年仕途经历远不如其兄弟。直到天保八年（557年），方才起家被授为通直散骑侍郎。天保九年（558年），封乐城县开国公，进上仪同三司。天保十年（559年），加授仪同三司，开始出任地方官，以本官行肆州事。高洋死后，高殷即位。北齐乾明元年（560年）三月二十一日，高长恭受封兰陵王。后来累次升迁至并州刺史。在乾明之变后，皇叔孝昭帝高演登基，给予兰陵王高长恭进一步重用， 邑通前一千五百户，转中领军，加开府仪同三司。武成帝高湛即位之后，大宁元年（561年），被授使持节都督并州诸军事、并州刺史。大宁二年（562年），别封巨鹿郡开国公，食邑一千户，进领军将军。
金墉解围
邙山之战
河清二年（563年），北周大将杨忠与突厥木杆可汗合兵自恒州而下攻北齐，直逼并州，高长恭参与了击退突厥的作战，奋力将突厥人击退。河清三年（564年）十二月，邙山之战时，北周攻打洛阳，武成帝高湛派高长恭与并州刺史段韶、大将军斛律光前往洛阳救援，因为惧怕北周的兵力强大，不敢前进。段韶利用谋略打败北周军队，高长恭带领五百名骑兵冲进北周军队的包围圈，到了金墉（今河南洛阳东北故城）城下，因为高长恭戴着头盔，城中的人不确定是敌军或是我军，直到高长恭把头盔脱下来让大家看到他的面貌，城上的人才派弓箭手开始放箭保护他，之后高长恭成功替金墉解围，北周军队最后放弃营帐逃走，从邙山到谷水的三十里间的川泽之地，都是北周丢弃的兵器辎重。高长恭在此次场战役中威名大振，士兵们为此次战役而讴歌他，即后来知名的《兰陵王入阵曲》。同年十二月十五日，高长恭被任命为尚书令。
历封郡公
后来，历任司州、青州、瀛州的地方长官。武平元年（570年）七月初三日，担任录尚书事。武平二年（571年）二月二十四日，担任太尉。三月，北周齐国公宇文宪从龙门渡过黄河，右丞相斛律光退守华谷，宇文宪攻取了斛律光新筑的五座城池。高长恭与太宰段韶、右丞相斛律光联合进攻跷谷，率军抵御北周的军队，进攻柏谷城，攻克后就退兵而回。
武平二年（571年）五月，北周晋国公宇文护派中外府参军郭荣在姚襄城南、定阳城西修筑城池。六月，段韶包围定阳城，当时段韶生病，对高长恭说：“这座城池的三面都有两道河壕，无路可走；恐怕只有东南一条路，贼寇一定会从这里突围。应当挑选精兵专门防守这条道路，这样一定能够捉住他们。”高长恭便派一千多名壮士埋伏在东南涧口。城中的粮食吃尽，宇文宪集中所有的兵力去救援，但因害怕段韶，不敢前进。杨敷率领现有的士兵乘夜突围出城，被高长恭的伏兵攻击，全部俘虏。
武平三年（572年）八月，高长恭被任命为大司马。武平四年（573年）四月十三日，担任太保。高长恭前后因各项战功，被封为巨鹿郡公、长乐郡公、