中国人民大学档案馆成立于1954年3月11日，是新中国高校中最早成立的档案馆，首任馆长是新中国档案教育事业的奠基人吴宝康教授。2004年5月，学校成立了中国人民大学档案工作委员会，档案馆是该委员会的执行机构和职能管理部门。经过六十多年的建设发展，档案馆为学校行政管理、人才培养、科学研究、学科建设、校园建设等各项工作发挥了重要辅助作用。

2013年4月，档案馆馆舍装修改建并于2014年3月启用新馆，位于藏书馆一层。新馆面积1500多平方米，装备档案密集架约800立方米，五节柜260余节，配备加湿器、恒温恒湿柜、防磁柜、消毒机等档案专业化设备及气体灭火系统，大大提高了专业化水平。

档案馆设有收集指导与综合业务室、保管利用室、红色资源开发室、学生档案管理室四个内设机构。馆藏档案包括党群、行政、教学、科研、基建、出版、外事、财会、声像、人物等综合类档案近二十万卷。这批宝贵的信息资源和文化财富，是学校办学历程最为直接、最为真实的历史记录。