Происходил из старинного дворянского рода Жемчужниковых - сын сенатора Михаила Николаевича Жемчужникова и Ольги Алексеевны Перовской. Приходился племянником известному писателю Антонию Погорельскому, двоюродным братом Алексею Толстому. Вырос в родовом имении Павловка под Ельцом, некоторое время учился в Первой Санкт-Петербургской гимназии. После окончания училища правоведения в 1841 году служил в Сенате. В 1847 году перешёл на службу в министерство юстиции, а в 1849 году в Государственную канцелярию; был помощником статс-секретаря Государственного совета. Литературный дебют состоялся в 1850 году. В журнале "Современник" была опубликована комедия "Странная ночь". Алексей Жемчужников также печатался в журналах "Отечественные записки", "Искра" и др. Совместно с братьями Владимиром и Александром, и двоюродным братом Алексеем Толстым создал литературный псевдоним Козьмы Пруткова. Афоризмы К. Пруткова давно вошли в нашу речь, многие из них употребляются в качестве пословиц: Никто не обнимет необъятного. Смотри в корень! Если хочешь быть счастливым, будь им. Лучше скажи мало, но хорошо. В период 1859-1869 годов А. М. Жемчужников не печатался и почти не писал. Первая книга стихотворений А. М. Жемчужникова вышла в 1892 году (в 2-х томах) и была отмечена поощрительной пушкинской премией в 1893 году. В 1900 году, к 50-летию его литературной деятельности, вышел в свет новый его сборник "Песни старости". В том же году он был одним из первых (вместе с Толстым, Чеховым, Кони и другими) избран почётным академиком Петербургской академии наук по разряду изящной словесности. В 1858 году вышел в отставку и жил в Калуге, Москве и во 2-й половине 1860-х - за границей: в Германии, Швейцарии, Италии и во Франции. По возвращении в Россию жил в Тамбове и Тамбовской губернии. Гражданские стихи, лирика, поэмы Жемчужникова заслужили высокую оценку его современников: Некрасова и Добролюбова, Тургенева и Толстого, Салтыкова-Щедрина и Бунина, позднее - Брюсова.