西元三世纪的朝鲜半岛
玄菟郡所在地，原是卫氏朝鲜属国沃沮的故地。汉武帝元封二年，西汉征卫满，并于次年灭其国，置四郡，是为汉四郡，皆属幽州。汉四郡除玄菟郡外，还包括乐浪郡、临屯郡和真番郡，但以玄菟郡的面积最大。郡治位于玄菟城(一说夫租县，即今日咸镜南道咸兴市)。玄菟郡有户口4万5006户，人口22万1845人。除了管治本郡以外，扶余国、东沃沮及高句丽亦从属于玄菟郡。
公元前82年（汉昭帝始元五年），西汉调整玄菟郡之疆界，废真番郡、临屯郡，并把当作部份编入玄菟郡及乐浪郡。之后，玄菟郡的郡治移往高句骊县，即今日吉林省集安市通沟乡（一说辽宁省抚顺市新宾满族自治县的永陵地区）。江内之地划入玄菟郡，江外之地划入乐浪郡，此时的玄菟郡大约南达清川江和大同江上游北岸，与乐浪郡为邻；北达哈达岭、辉发河一带，与夫余为邻；其西为辽东郡，以长城为界；其东以长白山为界与沃沮相接，居民以汉人与高句丽人为主。
公元前75年（汉昭帝元凤六年），西汉对玄菟郡再度缩减：玄菟郡东部的7个县被辽东郡所吸收，这时的玄菟郡已经是名存实亡，只是在辽东郡内的玄菟城（辽宁省老城・兴京方面）仍然残留着“玄菟”这个名字。
公元12年（新朝始建国四年），王莽改高句丽为“下句丽”又名乐鲜，仍属幽州。其部将严尤诱杀高句丽的君主（被杀者有琉璃明王、琉璃明王的部将延丕和闵中王三种说法），高句丽遂脱离中原王朝独立，开始吞并玄菟当时的辖县。西元28年，东汉辽东郡太守发兵讨伐高句丽。大武神王高无恤坚壁清野，退入国内城。 汉光武帝建武八年（32年），新成立的东汉接受高句丽的朝贡。
汉安帝永初元年（107年），将长城内候城、高显、辽阳三县划归玄菟，将玄菟迁到长城以内，辖今日沈阳、抚顺一带，人口约4万余。不久，高句丽又开始蚕食玄菟郡在长城内的辖地，屡次入侵。东汉中平六年（189年），公孙度割据辽东，玄菟为其属地，其太守一直都由公孙家的人担任。
238年，曹魏太尉司马懿灭公孙渊，废候城县，设高句丽、高显、辽阳、望平四县于玄菟郡。
265年，西晋建立，废辽阳县。后归慕容垂；子宝，以句丽王安为平州牧居之。
404年，高句丽乘中原内战之机，占领辽东全境，玄菟郡为其占领，设玄菟城管领。
及至唐高宗与新罗联军灭高句丽，玄菟郡全境尽归唐朝，原境被改编成安东都护府。
