关于杨衒之的官职头衔，历代文献记载有所不同。《历代三宝记》卷九记载：“《洛阳地伽蓝记》五卷，期城郡太守杨衒之撰。”《大唐内典录》卷四也写作“期城郡守”。《续高僧传》卷一菩提流支传记载：“期城郡守杨衒之撰《洛阳伽蓝记》五卷。”《法苑珠林》卷一百传记篇杂集部记载：“《洛阳地伽蓝记》一部五卷，元魏邺都期城郡守杨衒之撰。”这些记载都与现今流传版本的署名不同。

查考史料，杨衒之在《魏书》《北史》中都没有专门传记。《广弘明集》卷六记载：“阳衒之，北平人，元魏末年为秘书监。目睹寺庙建筑奢华，耗费大量金银财物，王公贵族争相侵占百姓利益，于是撰写《洛阳伽蓝记》，批评当政者不体恤民生疾苦。”据此可知衒之是北平人。但此处姓氏写作“阳”，与《历代三宝记》等文献及本书署名不符。

考察北朝历史，以文学才能显达的都来自北平阳氏家族，比如阳尼、阳固等人。至于杨氏家族，则未见有突出人物。《魏书》卷七十二阳尼传记载：“阳尼字景文，北平无终人。其侄孙阳固，字敬安，有三个儿子，长子休之，休之的弟弟诠之，字子衡。”《北史》卷四十七记载阳固有五个儿子，长子休之，休之的弟弟绋之，次子俊之。这些人都以“之”字为名，因此怀疑衒之应该姓阳，而且与休之是同辈人。

再查《北齐书》卷四十二阳休之传记载：“休之，字子烈，北魏孝庄帝即位后，初入仕途担任员外散骑侍郎”；而本书卷一提及：“永安年间，庄帝在华林园举行马射活动，衒之当时担任奉朝请”；根据史书记载休之卒于隋朝开皇二年，享年七十四岁来推算，庄帝永安元年休之初任员外散骑侍郎时，年仅二十一岁。此时衒之刚担任奉朝请，应该也是刚进入仕途，年纪在二十岁左右。由此推断他与休之是同辈人，就更加可信了。

至于刘知几《史通》补注篇写作“羊衒之”，“羊”是泰山地区的姓氏，籍贯不是北平，应该是传抄过程中出现的错误。

关于衒之的生平事迹，可供考证的资料很少。可知的任职经历有四项：奉朝请、抚军府司马、秘书监、期城郡太守。所以严可均在《全北齐文》杨衒之条目下写道：“北魏末年担任抚军府司马，历任秘书监，外调任期城太守。”期城郡是北魏孝昌年间设置的，位于今河南泌阳县西北。

衒之的生卒年不详。本书序言中提到“到武定五年，岁在丁卯，我因公务出行，重新游历洛阳”，可知他卒于武定五年之后。而严可均称“北齐天保年间在任上去世”，却不知道这个说法的依据是什么。

另外，《广弘明集》还记载衒之在撰写此书后，“曾上书指出佛教虚妄不实，耗费大量人力物力，僧侣不拿起武器保卫国家，却让父母忍受饥寒。许多逃避劳役的人、奴仆之流，为躲避辛苦追求享乐而出家，并非真心修道。又引用佛经说一切有为法都是虚妄，都是妄想，修道之人明明深谙佛理，却故意违背教义。奏章中还大量列举寺院敛财借贷、贪得无厌的事例。又说读佛经的人，把佛经尊奉得如同帝王；绘制佛像的画师，却完全不被尊重。请求让僧侣跪拜父母，等同于儒家道家信徒。建议将僧侣事迹载入国史，对那些行为浮夸险诈的僧人，请求颁布严格法令加以甄别。这样才能真正遵循佛法，净化僧团。让逃避兵役的人重返军营，实现国富兵强，这才是天下之大幸。”

这些言论是针对当时佛教界腐化混乱、祸国殃民现象而发的崇实黜虚之论。《广弘明集》因其多排斥佛教的言论，故将其列入“王臣滞惑篇”。但阅读衒之这本书的人，不能不了解他的这些主张。可惜这篇奏章的全文已经失传，无法看到了。