腾格尔，1961年1月15日出生于内蒙古鄂尔多斯鄂托克旗额尔和图苏木，兄妹5人。腾格尔的父母都有一副好嗓子，年轻时是当地有名的民歌手。生活在这样的环境中，耳濡目染的腾格尔也能歌善舞，对音乐的领悟力非常高。蒙古语“腾格尔”就是蓝天的意思。
小学毕业后，腾格尔和哥哥一起被父母送到鄂托克旗一中去上学。父亲还特意为他起了个汉名叫“杨占武”。初一下半年，因为和同学玩耍时自称是毛。腾格尔被校长叫到办公室一顿训斥，让他回家将父母叫来听候处理。闯了大祸，14岁的腾格尔吓坏了，写下遗书想到县城影剧院的楼顶上跳楼自杀。幸亏被哥哥金格尔及时发现在半路将他截了回去。此后，他彻底对学习失去了兴趣。三天两头就找借口逃学。
1975年夏天,一个改变腾格尔命运的机会来了。那年夏天内蒙古艺术学校的老师来鄂托克旗招生。面试后不久腾格尔考上了。腾格尔最早上艺术学校是学舞蹈。腾格尔说：“那时候的我几乎什么都不会，唱歌也不行，演奏也不擅长，只是外在条件不错，所以就报考了舞蹈班。”舞蹈班的学生每天早上5点钟就必须起床练功，两个月下来，腾格尔有点儿顶不住了，跑到教务处“求救”，表示自己不想学舞蹈，想学乐器。谁知校方真的安排他改学三弦。
“在艺校3年，第一年什么也不懂，基本上是混过去的；第二年有所起色；到第三年，我就开始小有名气了。”腾格尔说，“我的听力特别好，钢琴上的某个键，我听了就能把它唱出来，一弹，就是这个音。当时，我开始自己学作曲。”毕业后，腾格尔留校当老师，教三弦同时兼任学生乐队的指挥。“其实那时我根本不知道什么叫指挥，瞎比划罢了。”
1979年下半年，学校派腾格尔到中国音乐学院进修指挥。进修后，腾格尔才意识到自己应该继续学习。1980年，腾格尔考入天津音乐学院作曲系。因为腾格尔最喜欢的歌手是邓丽君，开始学音乐的时候腾格尔就模仿她的歌。