，被任命为卢县县令。
在卢县任职期间，陶谦刚正不阿的性格展露无遗。郡守张磐，是同郡的先辈，与陶谦的父亲是好友，因此对陶谦格外亲近。但陶谦却不愿因为这层关系而刻意讨好张磐。有一次，众人一起回城，陶谦因公事去拜见张磐。议事结束后，张磐常常私下邀请陶谦留下来饮酒宴乐，可陶谦有时会拒绝。在一次宴会上，张磐邀请陶谦跳舞，陶谦拒绝起身，张磐再三强求，陶谦才勉强起身。然而，在跳舞过程中，陶谦却不按套路旋转。张磐疑惑地问：“不应该旋转吗？”陶谦直言：“不能转，转了就会胜过别人。”从此，两人之间渐渐有了嫌隙。
陶谦为官清廉，在任上没有什么把柄可被人抓住。在一次祭祀灵星的活动中，还剩余五百钱，他本可以将这笔钱留下，可他却选择弃官而去，不愿沾染这不明不白的钱财。
此后，陶谦的仕途不断升迁，他先后担任幽州刺史，又被征召入朝任议郎。后来，他还参与了车骑将军张温的军事行动，向西征讨韩遂。当时，西羌侵犯边境，皇甫嵩任征西将军，上表朝廷请求调派武将。陶谦被召拜为扬武都尉，跟随皇甫嵩征讨西羌，立下赫赫战功，大败羌军。
不久后，边章、韩遂发动叛乱，司空张温奉命出征，邀请陶谦担任参军事。张温对陶谦礼遇有加，可陶谦却对张温的行事风格颇为轻视，心中多有不服。军队凯旋后，百官举行盛大宴会，张温让陶谦在宴会上依次敬酒。陶谦却借此机会当众羞辱了张温。张温大怒，一气之下把陶谦发配到了偏远的边境地区。
有人劝张温说：“陶恭祖原本凭借才能谋略被您看重，如今只因醉酒后的一点过失，您就不能宽容他，把他远远地抛弃到荒蛮之地，这样做，您的厚德就难以善终，四方的有识之士又该如何看待您呢？不如放下怨恨，恢复你们当初的情分，这样您的美德才能远扬。”张温觉得这话在理，便派人把陶谦追了回来。
陶谦回来后，又有人劝他说：“您之前轻视羞辱三公，这是自己犯下的过错，如今能得到赦免，张温对您的恩德已经够深厚了。您应该放下架子，言辞谦卑地去道歉。”陶谦嘴上答应着。可当张温在宫门口见到陶谦时，陶谦却仰着头说：“我是来向朝廷谢罪的，可不是为了您！”张温无奈地说：“恭祖，你