Николай Рубцов родился 3 января 1936 года в селе Емецк Емецкого района Северного края (ныне Холмогорского района Архангельской области).
В 1937 году переехал вместе со своей большой семьёй в Няндому.
В 1939—1940 годах отец Рубцова Михаил Андрианович работал начальником Няндомского горпо.
В январе 1941 года Михаил Рубцов выбыл из Няндомы в Вологодский горком партии. В Вологде Рубцовых застала война.
Летом 1942 года умерли мать и младшая сестра Рубцова, отец был на фронте, и детей распределили в интернаты.