По возвращении, в конце 40-х годов с Кавказа в чине капитана 1-го ранга (старшинство с 1845 года) Панфилов был назначен командиром одного из лучших тогда кораблей "Двенадцать апостолов", который он принял от
[Для просмотра данной ссылки нужно зарегистрироваться]; на нём в 1850 году провёл пять суток великий князь Константин Николаевич, обративший внимание на образцовый порядок, найденный им на корабле.
В 1853 году Панфилов был произведён в контр-адмиралы и назначен командиром 1-й бригады 4-й флотской дивизии и на том же корабле принимал блестящее участие в
[Для просмотра данной ссылки нужно зарегистрироваться], за отличие в котором награждён
орденом св. Владимира 3-й степени с мечами.
Перед началом Восточной войны, имея свой флаг на том же корабле, Панфилов совершил с сентябре в эскадре Нахимова одну из крупнейших перевозок войск морем для того времени — из Одессы на Кавказский берег было переброшено и высажено 19000 человек. Во время начавшейся Крымской кампании Панфилов был послан с эскадрой из пароходов снять гарнизоны черноморской береговой линии и сжечь и уничтожить сами укрепления, что и было исполнено им в виду английских и французских крейсеров, с которыми 3 июня 1854 года Панфилову пришлось иметь дело, с честью им выполненное, несмотря на неравенство сил.
Во время обороны Севастополя Панфилов командовал 3-м отделением оборонительной линии, где в течение девяти месяцев, днём и ночью, неустанно укреплял разрушаемое неприятелем и геройски отражал атаки противника.
В ноябре 1854 года за службу на Севастопольских бастионах Панфилов был награждён
орденом св. Георгия 3-й степени; кроме этой награды, он получил
золотую, осыпанную бриллиантами саблю с надписью "за храбрость", за отбитие штурма 6 июня 1855 года.
Также он наряду с генералом Хрулёвым являлся главным героем отбития штурма 27 июня. После смерти адмирала Нахимова Панфилов занял его пост — помощника начальника гарнизона и был произведён в вице-адмиралы с назначением начальником 5-й флотской дивизии. При отступлении наших войск на Северную сторону, Панфилов оставил Севастополь последним (за что получил
орден св. Анны 1-й степени с короной. На Северной стороне он был назначен начальником укреплений в звании командира Севастопольского порта. Затем Панфилов отправился в Николаев для представления императору Александру II, а когда в сентябре в Николаев были переведены морские команды, Панфилову была поручена оборона этого города.
Назначенный в 1856 году губернатором и начальником морской части Николаева, он обратил особое внимание на многочисленных больных, очень плохо и тесно помещённых, вследствие чего смертность доходила до 3500 человек в месяц.
Он устроил госпиталь из местного канатного завода, часть размещавшихся в землянках ратников взял к себе, часть приказал взять своему начальнику штаба
[Для просмотра данной ссылки нужно зарегистрироваться], а остальных всех разместил между обывателями. Благодаря этим мерам и заболеваемость, и смертность значительно уменьшились.
Пробыв затем некоторое время главным командиром Свеаборгского порта, Панфилов 17 апреля 1858 года был назначен членом Адмиралтейств-совета, а 1 января 1866 года произведён в полные адмиралы.
Александр Иванович скончался в Санкт-Петербурге 13 мая 1874 года, похоронен на Смоленском кладбище.