许谦少年时就很有文才，专攻天文图谶方面的学问。鲜卑族拓跋什翼犍建立代国后，许谦带着全家前去归附，什翼犍很欣赏许谦的才华，立即任命他为代王郎中令，兼掌文记。他还和同乡燕风一起，负责教授太子儒家的经典。后来，许谦又跟随什翼犍出征匈奴，因军功得僮隶30户。晋孝武帝太元元年（376年），代国为前秦所破，许谦和拓跋什翼犍等一道被俘虏到长安。当时，前秦皇帝苻坚的从弟行唐公苻洛正在镇守和龙（今辽宁朝阳），慕许谦之名，请他前去。许谦看到苻洛有勇无谋，并时有反心，而且许谦还一直惦记着代国复国之事，所以去了不长时间，就找了个继母生病的理由，辞官回到家乡。这时，拓跋什翼犍之孙拓跋珪趁前秦淝水战败之际积聚力量，准备复国。许谦得知，跋山涉水前去投靠。拓跋珪看到老臣归来非常高兴，任命他为右司马，与上谷沮阳人张兖等一起参与朝廷大事。晋孝武帝太元十一年（386年），拓跋珪改国号为魏，定都盛乐（今内蒙古和林格尔西北）。北魏道武帝登国十年（395年），后燕国太子慕容宝率兵八万大举进攻北魏，拓跋珪派许谦向后秦高祖姚兴求援。许谦凭自己的三寸不烂之舌，动之以情，晓之以理，说动了“雅好经籍、虚襟引士”的姚兴。姚兴派大将杨佛嵩率兵来援，可是杨佛嵩并不着急，路上走的很慢。拓跋珪又命许谦给杨佛嵩写信，许谦便写下了这段文字：“夫杖顺以翦遗，乘义而攻昧，未有非其运而显功，无其时而著业。慕容无道，侵我疆场，师老兵疲，天亡期至，是以遣使命军，必望克赴。将军据方邵之任，总熊虎之师，事与机会，今其时也。因此而举，役不再驾，千载之勋，一朝可立。然后高会云中，进师三魏，举觞称寿，不亦绰乎！”信写得很平实，也很动人，杨佛嵩看到后，立即“倍道兼行”。拓跋珪对许谦的办事能力很满意，马上封他为关内侯。这时，拓跋珪又担心杨佛嵩打完仗不撤兵，造成新的威胁，于是再次派许谦带着美酒羔羊去犒劳杨佛嵩的军队，并和杨佛嵩签订友好条约。在杨佛嵩和北魏兵的合力反击下，慕容宝大败，损失兵力七万多。杨佛嵩大胜后又按照条约回到后秦。第二年，后燕国君慕容宝垂死于征途。许谦闻讯后，立即上书劝进。拓跋珪虽然复国多年，但是一直没有敢像其他皇帝那样确立年号，也没有敢像其他皇帝那样按照礼仪出行。后燕的威胁减弱了，拓跋珪可以安心地当皇帝了，于是改元皇始，始建天子旌旗，出警入跸使用。两年后，迁都平城（今山西大同市）称帝。许谦为朝廷出了不少的计策，而且屡立战功，朝廷也对许谦一封再封，有阳曲护军，赐爵平舒侯、安远将军等头衔。皇始元年（396年），许谦卒于任上。皇帝追封他为平东将军、左光禄大夫、幽州刺史、高阳公，谥号文。

许谦，字元逊，代人也。少有文才，善天文图谶学。建国时，将家归附，昭成擢为代王郎中令，兼掌文记。与燕凤俱授献明帝经。昭成崩后，谦徙长安。苻坚从弟行唐公洛镇和龙，请谦之镇。未几，以继母老，辞归。登国初，遂归道武，以为右司马，与张兖等参赞初基。慕容宝之来寇也，道武使谦告难于姚兴。兴遣将杨佛嵩来援。佛嵩稽缓，道武命谦为书遗之，佛嵩乃倍道兼行。道武大悦，赐谦爵关内侯。宝败，佛嵩乃还。及慕容垂死，谦上书劝进。并州平，以谦为阳曲护军，赐爵平舒侯。卒，赠幽州刺史、高阳公，谥曰文。子洛阳袭爵。明元追录谦功，以洛阳为雁门太守。洛阳家田三生嘉禾，皆异亩同颖。太武善之，进爵北地公。卒，谥曰恭