南京农业大学的研究生教育具有悠久的历史，为我国的农业教育、科技、管理和生产做出了重要贡献。学校前身私立金陵大学农学院和国立中央大学农学院于1936-1945年共招收和培养了65名研究生，占当时全国农科的50%。新中国成立后，南京农学院于1949-1966年，累计招收和培养了64名研究生。两期培养的研究生成为我国农科重要的学科带头人和骨干。
1981年我国实施学位制度后，南京农业大学成为我国首批有权授予博士、硕士学位的单位之一，同时有权授予同等学力博士和硕士学位，开展专业学位研究生教育，面向在职人员举行硕士研究生入学单独考试，接受和推荐优秀应届大学本科毕业生免试攻读硕士学位，面向港澳台招收研究生，自费招收国外留学生，开展“硕-博连读”和“学-硕连读”试点，自行审定博士生指导教师和自行审批硕士点。1999年，被国家教育部和国务院学位委员会授予“全国学位与研究生教育管理工作先进集体”。2000年6月经教育部批准建立研究生院。
