清嘉庆二十五年(1820年)属道州修义乡。
民国二年(1913年)属道县东二。
1952年6月以驻地命名建立清溪乡。
1958年10月属八一人民公社一部分。
1961年5月,设第九,政府驻清溪圩,辖清溪,青口,柑子园,油湘和白芒铺5个人民公社。
1968年撤。
1969年恢复。
1984年4月以社建乡,清溪辖清溪,青口,柑子园,油湘,青口和白芒铺6个乡。
1995年6月撤并乡,清溪乡与青口乡合并为白马渡镇。