В 1759 году он получил в командование фрегат HMS "Arundel" и стал полным капитаном. На следующий год, командуя HMS "Emerald", отличился в Вест-Индии, взяв 16 французских судов и несколько приватиров, и получил благодарность купцов британской колонии Барбадос. С марта 1762 Миддлтон принял в командование фрегат HMS "Adventure", патрулировал побережье Нормандии.
В декабре 1761 года Миддлтон женился на Маргарет Гамбье, племяннице капитана Мида, с которым познакомился на борту "Sandwich" лет за 20 до этого. Маргарет переехала в Тестон в графстве Кент, чтобы быть рядом с подругой Элизабет Бувери. В 1763 году, после службы на "Adventure", он переехал к Маргарет в Тестон, и следующие 12 лет был арендатором земель, принадлежащих миссис Бувери, сделавшись сельским джентльменом.
В 1775 году, с началом Американской революционной войны, Миддлтон командовал брандвахтой на HMS "Ardent" в Норе, стоянке Королевского флота в устье Темзы, а затем в 1778 году был назначен контроллером флота и председательствовал в Военно-морском комитете, каковой пост занимал 12 лет. Был известен как знающий и деловой администратор. Он выступал в частности за реорганизацию Транспортной службы, и добился переоборудования устаревших 44-пушечных кораблей в отряд транспортов, подчиненных непосредственно флоту.
В 1781 году был пожалован баронетом, с особым правом наследования, в случае отсутствия мужского потомства, для зятя Джерарда Ноэля.
В 1784 году сэр Чарльз Миддлтон был избран в Парламент от консерваторов в Рочестере и занимал место в течение 6 лет. 24 сентября 1787 года сэр Чарльз был произведён в чин контр-адмирала белой эскадры, а 21 сентября 1790 года — в чин контр-адмирала красной эскадры. 1 февраля 1793 года был произведен в чин вице-адмирала белой эскадры, а на следующий год стал лордом Адмиралтейства.
В 1795 году сэр Чарльз был произведен в чин адмирала синей эскадры, а 14 февраля 1799 года — в чин адмирала белой эскадры. Наконец, в 1805 году, перед Трафальгаром, был назначен Первым лордом Адмиралтейства, и был жалован бароном Бархэм, в Бархэм-корт, Тестон, Кент, с особым правом наследования, при отсутствии мужского потомства, для единственного ребёнка, дочери Дианы Ноэль, второй баронессы Бархэм, и её наследников мужского пола. В сентябре 1805 года, лорд Бархэм стал красным адмиралом. Он умер 8 лет спустя, в возрасте 86 лет в своем доме в Бархэм-корт.
Помимо службы в Королевском флоте, сэр Чарльз Миддлтон сыграл важную роль в отмене работорговли в Британской империи. На него повлияла брошюра, написанная преподобным Джеймсом Рамзеем, который был у Миддлтона хирургом на борту HMS "Arundel" в Вест-Индии, но потом принял духовный сан и служил на острове Сент-Кристофер (ныне
[Для просмотра данной ссылки нужно зарегистрироваться]) в Карибах, где лично наблюдал примеры жестокого обращения с рабами. По возвращении в 1777 году, истощенный долгим конфликтом с влиятельными плантаторами и дельцами, Рамзей вернулся в Великобританию и недолго жил с сэром Чарльзом и леди Миддлтон в Тестон. Затем он стал викарием Тестона и ректором Нетлстед в Кенте. Средства на жизнь ему предоставлял Миддлтон.
Брошюра Рамзея, "Эссе по обращению и приведению в христианскую веру африканских рабов в британских сахарных колониях", опубликованная в 1784 году, особенно повлияла на леди Миддлтон. Чувствуя себя неподходящим кандидатом для поднятия вопроса о работорговле в Парламенте, и зная, что борьба будет долгой и трудной, сэр Чарльз предложил молодого парламентария Уильяма Уилберфорса как человека, которого можно убедить взять это на себя. (Первым ли он предложил этот вопрос Уилберфорсу для рассмотрения или нет, является спорным). В 1787 Уилберфорс был представлен Джеймсу Рамзею и Томасу Кларксону в Тестон, а также познакомился с растущей группой сторонников аболиционизма, среди них Эдвард Элиот, Ханна Мор — евангелическая писательница и филантроп — и Бейлби Портеус, епископ Лондонский.
Кларксон впервые обнародовал свое намерение посвятить жизнь борьбе за эмансипацию рабов в доме Миддлтонов, Бархэм-корт, с видом на реку Медуэй в Тестон, Кент. Для подкрепления запроса об отмене работорговли, Кларксон на протяжении многих лет вел исследования, собирал доказательства путем опроса тысяч моряков, участвовавших в работорговле. Это стало возможным благодаря данному Миддлтоном разрешению на доступ к королевским верфям.
Бархэм-корт по сути использовался как штаб аболиционистской кампании, проводимой лордом и леди Бархэм. Уилберфорс, Кларксон, Элиот и Портеус проводили многочисленные совещания и заседания по вопросам стратегии, прежде чем представить законодательство на рассмотрение Парламента.
Хотя Миддлтон никогда не участвовал непосредственно в борьбе за отмену работорговли (отменена в 1807 году) и самого рабства (в 1833 году), он привлек к нему внимание будучи членом Парламента, и сыграл важную роль как закулисный посредник. Им двигали его евангелические убеждения. Миддлтон проявил себя христианином не только тогда, но и раньше, будучи капитаном, а затем контроллером и лордом Адмиралтейства.
В честь лорда Бархэма были названы три корабля Королевского флота, в том числе линкор HMS Barham, и четвёртый был запланирован, но отменен.