Родился в имении своей матери. Его отец был украинец, а мать — гречанка. Это последнее обстоятельство, а также переселение его родителей в Таганрог (в 1829 году), населённый по преимуществу греками, имело большое влияние на воспитание эстетического чувства Щербины, познакомив его с греческим бытом и преданиями. Учился в Таганрогской мужской гимназии, но курса не окончил. Уже с самой ранней юности Щербина пристрастился к изучению греческого языка и литературы и в 13 лет написал поэму «Сафо». В 1838 году в «Сыне Отечества» появилось его первое произведение «К морю». Принуждённый вследствие бедности искать пропитание уроками, Щербина не мог окончить систематического курса высшего образования. После издания в Одессе книжки «Греческие стихотворения» — переселился в Москву, где был помощником редактора «Московских Губернских Ведомостей», писал стихи в «Москвитянине».

В 1854 году перебрался в Санкт-Петербург, получил место чиновника особых поручений при товарище министра народного просвещения, князе П. А. Вяземском. Последние годы жизни служил в Министерстве внутренних дел при главном управлении по делам печати. В 1855 году во время осады Таганрога был в составе парламентёров (прокурор Война, Ю. Франк и Н. Щербина), доставивших ответ на ультиматум англичан о сдаче Таганрога. Щербина стал известен в русской литературе главным образом как автор мастерских антологических стихотворений из древнегреческой жизни, отличающихся чистотой и музыкальностью языка, но отвлечённое содержание, далёкое от запросов и интересов современности, придало его произведениям слишком книжный характер и тем лишило их живой и непосредственной поэзии.

Стихотворения Щербины были изданы 5 раз до революции: в 1850, 1851, 1857, 1907 годах и полное собрание сочинений в 1873 году. Неоднократно издавался и в советское время. В последние годы жизни приобрёл известность как сатирик («Сонник современной русской литературы, расположенный в алфавитном порядке и служащий необходимым дополнением к известному „Соннику Мартына Задеки“», 1857, «Альбом ипохондрика», 1841—1861; «Сатирическая летопись», 1861—1869). По замечанию ЭСБЕ, «некоторые из его эпиграмм по неприличию тона не могли быть напечатаны даже после его смерти».