谢玄出身于陈郡谢氏，为魏晋南北朝时期著名门阀士族。
陈郡谢氏家族始祖为东汉三国时期的典农中郎将谢缵，家族真正崛起源于第四世的尚书仆射谢尚，获取世袭领地，拥有了领兵的资格。
谢玄为家族第五世，其父谢弈担任都督豫司冀并四州军事、安西将军、豫州刺史；
叔父谢安官至太保，成为东晋的宰相。
“谢玄年少聪慧，深受叔父谢安的器重，曾爱好佩戴香囊，为叔父赌取而焚烧。”
“谢玄成年后拥有经国才略，面对朝廷屡次征召却没有前往。”
“后与王珣一起被大司马桓温征召为府掾，并受到桓温的礼遇和器重；”
“后转任征西将军桓豁麾下担任行军司马，同时兼领南郡相，都督北征诸军事。”
“此时北方的前秦逐渐强大起来，前秦天王苻坚在宰相王猛的辅佐下，初步统一了北方，不断派兵攻打东晋边疆。”
“东晋朝廷感觉形势严峻，寻求文武良将镇守北方抵御前秦的进攻。”
“尚书仆射谢安举贤不避亲，推荐侄子谢玄应举，于是征召谢玄返回京城，授与其为建威将军、兖州刺史、同时兼领广陵相，都督江北诸军事。”
“太元二年，谢玄出镇广陵，为抵御前秦强大的军事压力，大力招募江北移民中骁勇之士。”
“刘牢之与何谦、诸葛侃、高衡、刘轨、田洛和孙无终等猛将应征入选。”
“谢玄经过严格的选拔与训练，任命刘牢之为参军，统领精锐担任前锋，组建了战斗力强大的北府兵。”
“太元三年，前秦天王苻坚派遣征南大将军苻丕围攻襄阳，车骑将军桓冲率部抵御。”
“谢玄奉命征召三州兵员，派遣彭城内史何谦进军淮泗，形成支援襄阳的态势。”
“襄阳城破后，前秦苻坚的部将彭超领兵攻打驻守彭城的龙骧将军戴逯。”
“谢玄统领东莞太守高衡与后军将军何谦屯兵于泗口，欲派遣使者密报镇守彭城的戴逯，朝廷救兵已经到来，却找不到前行的道路。”
“谢玄的部将田泓请命前往，于是通过河水潜入，将要进入彭城前，为前秦军队抓获。”
“前秦军队重金收买田泓，让其前往彭城传递援军已经战败的消息。”
“田泓假装答应，转而告诉彭城的晋军援军将至的消息，然后被杀。”
““前秦将领彭超将辎重粮草屯于留城，谢玄佯装派遣部将何谦攻打留城。”
“彭超获悉消息后，率军返回留城保护辎重粮草。谢玄派遣部将何谦迅速统兵救援彭城。”
“次年，前秦将领彭超再次统兵南下，苻坚部将句难与毛当自襄阳南下与其会合，前秦集合六万军队于三阿围困幽州刺史田洛。”
“东晋孝武帝司马曜下诏谢玄叔父征虏将军谢石率领水军进驻涂中，右卫将军毛安之、游击将军河间王昙之、淮南太守杨广、宣城内史丘准等部进驻堂邑。”
“不久，盱眙城被前秦攻破，高密内史毛藻战死，毛安之等部撤兵，东晋朝堂为之震动。”
“谢玄统兵自广陵出发征讨前秦武将惧难并救援三阿，派遣部将何谦击败前秦军队，为幽州刺史田洛解除围困；”
苏轼：接着进驻白马，再次大败前秦，斩杀敌将都颜。
谢玄统兵持续攻打前秦军队，斩杀敌将邵保，再次大破敌军。
秦将彭超、惧难率部撤退，谢玄率领部将何谦、戴逯、田洛全力追击前秦军队，于君川大破敌军。
谢玄派遣部将参军刘牢之率部攻破秦军的浮航舟船，都护诸葛侃和单父县令李都截断秦军运输船。
彭超与惧难等秦将向北逃走，只身逃出险境，谢玄统兵攻占彭城，后率部返回广陵，因功晋升为冠军将军和徐州刺史，爵封东兴县侯。
太元八年九月，前秦发兵攻打东晋，号称百万之众。
宣昭帝苻坚派遣阳平公苻融率领张蚝、慕容垂等三十万大军担任先锋率先进驻颍口，秦将梁成与王显屯兵于洛涧；
苻坚亲率大军屯兵于项城，凉州兵抵达咸阳，蜀地的军队顺流而下，幽州和并州的秦军也陆续抵达。
孝武帝下诏以谢玄为前锋，统领徐州、兖州、青州及扬州晋陵和幽州燕国等地的军队，与叔父征虏将军谢石、堂弟辅国将军谢琰、西中郎将桓伊等统帅八万晋军抵御前秦军队。
十月，前秦阳平公苻融率军攻克寿春，谢玄等统兵于洛涧二十五里外驻扎。
苻坚获悉前秦攻占寿春，亲率八千骑兵赶往寿春，并派遣尚书朱序劝降谢石、谢玄等人；
朱序建议谢石、谢玄要趁秦军尚未集结完毕，率先猛攻前秦军。
十一月，谢玄派遣部将广陵相刘牢之带领五千北府兵偷袭洛涧，大破前秦军，斩杀秦将梁成与其弟梁云。
前秦军崩溃，争相渡过淮水，死伤一万五千多前秦兵，刘牢之带兵追击，擒获前秦将领梁他和王显、梁悌、慕容屈氏等人，获取大量军需物资。
谢石与谢玄等晋军水陆并进，达到寿春城外。
苻坚沿淝水列阵，谢玄等晋军不能渡河。
于是谢玄为求速战，派遣使者游说苻融，让前秦军后撤，放晋军渡河，一决胜负。
苻坚赞成，打算趁晋军渡河后立足不稳，率领骑兵彻底杀死谢玄所部晋军。
于是苻融下令撤军，军令发出后，原晋军降将朱序高喊秦军败矣，前秦军自乱阵脚，苻坚等人不能制止。
谢玄与谢琰、桓伊等人统帅八千晋军精锐渡过淝水攻打前秦军。
谢石攻打张蚝，不胜而退；谢玄与谢琰统兵与前秦军决战于淝水南岸；
苻坚身中流矢，临阵斩杀主将苻融。谢玄等部乘胜追击，攻打到青冈；
前秦军大败而逃，自相踩踏及投河而死者不计其数；
其余前秦军抛弃盔甲连夜逃跑，听闻风声与鹤鸣，都认为是晋军追杀而来，一路风餐露宿不敢休息，外加挨饿受冻，死伤者十之七八。
谢玄统帅晋军俘获苻坚的云母车，其他如仪服、器械、军资和珍宝不计其数，牛马驴骡及骆驼十余万头。
战后孝武帝加封谢玄为前将军、假节，谢玄辞让不肯接受，后被赐予百万钱与千匹彩段。