Николай Иванович Рыленков родился 15 февраля 1909 года в деревне Алексеевка Смоленской губернии, в крестьянской семье.
В 1933 году он окончил факультет литературы в Смоленском университете, где подружился с Александром Твардовским, в этом же году выходит его первая книга «Мои герои». Перед самой войной, в 1940 году, он выпускает книгу «Берёзовый перелесок».
Во время Великой Отечественной войны Рыленков участвует в боевых действиях. В 1943 году печатается сборник стихов поэта «Синее вино».
В 1950-1960-х годах поэт всё больше и больше размышляет о своей Родине и её непростой истории, о смысле жизни и излагает эти размышления в своих стихотворениях. В 1950 году выходит сборник «Книга полей».
В 1962 году Рыленков создаёт стихотворный пересказ «Слова о полку Игореве», который публикуется в «Литературной газете», а затем неоднократно издаётся отдельной книгой. Вообще последнее десятилетие жизни поэта было особенно продуктивно, вышли его книги прозы «Волшебная книга» (1964), «На озере Сапшо» (1966) и другие, книги стихов «Корни и листья» (1960), «Жажда» (1961), «Пятое время года», «Избранная лирика» (обе — 1965), «Снежница» (1968), «Книга времени» (1969) и другие.
Кроме стихов он также писал очерки, песни, исторические повести. Значительным вкладом в литературу стали его книги по истории поэзии — «Традиции и новаторство» (1962), где русская поэзия развернуто предстает от М. Ломоносова до В. Бокова, «Душа поэзии» (1969), в которую включены статьи о Пушкине, Крылове, Сурикове, Шевченко, Блоке и многие другие.
Также занимался Рыленков переводами произведений белорусских поэтов, часть переводов собрана в книге «Журавлиные трубы» (1972).
Николай Иванович был награждён орденами Ленина, Трудового Красного Знамени и медалями.
23 июня 1969 года поэт Николай Иванович Рыленков умер в городе Смоленске.