国渊，字子尼，是乐安盖人。他早年拜郑玄为师，跟随其学习。（据《郑玄别传》记载：国渊起初并未声名远扬，郑玄却称赞他说：“国子尼是个难得的人才，以我对他的观察，他日后必定能成为国家的栋梁之材。”）后来，为躲避战乱，国渊与邴原、管宁等人一同前往辽东。（《魏书》中提到：国渊极为好学，对古代的文化典籍有着浓厚的兴趣。在辽东时，他常常在山间岩畔讲学，当地的士人大多对他推崇仰慕，他也因此声名渐起。）
回到故乡后，曹操征召国渊为司空掾属。在朝堂之上，国渊每次参与议论，都秉持公正，言辞恳切，态度严肃，退朝之后也从不私下议论政事。曹操计划大规模推行屯田制，便让国渊负责此事。国渊尽心尽力，多次向曹操陈述屯田制度的利弊得失，他根据土地的实际情况安置百姓，依据百姓的数量设置官吏，还明确了考核的方法。在他的努力下，仅仅五年时间，仓库就储备充实，百姓们也竞相勉励，安居乐业。
曹操征讨关中时，任命国渊为居府长史，让他统管后方的各项事务。当时，田银、苏伯在河间发动叛乱，叛乱被平定后，对于剩余的党羽，按照惯例都应依法处死。但国渊认为这些人并非首恶，便向曹操请求不要对他们行刑。曹操采纳了他的建议，因此得以活命的有一千多人。以往，上报击败贼寇的文书时，常常会虚报斩获的数量，通常是把实际数字夸大十倍。而国渊在上报斩杀贼寇的首级时，却如实统计。曹操对此感到疑惑，询问他这样做的原因。国渊回答道：“在征讨外部敌寇时，夸大斩获数量，是为了彰显武功，向百姓展示军威。但河间地区本就在国家的疆土之内，田银等人的叛乱是内部的祸乱，即便平定叛乱有功，我内心也感到羞耻。”曹操听后十分高兴，随后将国渊升任为魏郡太守。
当时，有人写匿名信诽谤朝政，曹操对此深恶痛绝，决心查出写信之人。国渊请求留下这封匿名信，并且不向外透露此事。他发现信中多处引用了《二京赋》的内容，于是吩咐功曹说：“魏郡地域广阔，如今又处于都城附近，然而有学问的人却不多。你挑选几个聪明且尚未完全开蒙的年轻人，我打算送他们去拜师学习。”功曹挑选了三个人，在他们临行前，国渊亲自接见并教导他们：“你们所学还不够，《二京赋》是一