Николай Петрович родился 17 января 1820 года в Ярославле в семье Петра Матвеевича Пастухова (14 ноября 1783 года – 7 октября 1845 года) его жены Александры Михайловны (1795 – 1886 ), урожденной Баловой. Юрий Деконский в «Родословной Пастуховых», опубликованной в книге «В потомственное дворянское достоинство возведен», пишет о ней как о старообрядке, но историк Нина Обнорская подвергает этот факт сомнению: перед смертью Александру Михайловну Пастухову исповедовал протоиерей ярославского кафедрального Успенского собора, а отпевали ее в церкви в Коровниках.
Семья Петра и Александры Пастуховых была многодетной, но из 13 детей (возможно, были еще) пережили детский возраст только семеро. Михаил (11.05.1811 – 27.07.1811),Павел (6.10.1812 – 24.07.1813),Ироида (14.02.1814 – 15.04.1815),Николай (22.11.1815 – 26.08.1816, оспа),Надежда (10.08.1817 – 1834),Николай (19.01.1820 – 5.12.1909),Евпраксия (2.07.1821 – 27.01.1830, корь),Алексей (6.03.1823 – 11.06.1823),Наталья (31.07.1824 – кон. XIX в.),Павел (22.06.1827 – 27.06.1860, чахотка),Вера (21.06.1829 – 20.09.1869, от родов),Матвей (5.05.1832 – до 1850),Елизавета (24.01.1835 – 20.04.1909).
Детство Николая проходило, скорее всего, в доме на Даниловской улице, (сегодня это дом №1 по улице Пушкина, где поликлиника), который был куплен в 1820-ые годы богатеющими купцами Пастуховыми у мещан Войлошниковых. После смерти Матвея Матвеевича дом достался его сыновьям – Петру и Александру Матвеевичам. Во второй половине XIX века, когда семьи братьев начали расти, рядом был построен еще двухэтажный дом, между домами были ворота к проезду во двор. С 1874 года дом принадлежал старшему сыну Николая Петровича – Леониду Николаевичу и его семье, и очень подробно описан его вдовой Анной Васильевной Пастуховой, правда, уже в эмиграции, для внуков Маши и Павла, родившихся в изгнании.
В 1847 году Пастуховы приобрели особняк напротив, Даниловская, 8, и улицу, на которой рос и мужал будущий «железный король России», ярославцы иначе как Пастуховский переулок и не называли.
Николай Петрович получил домашнее образование: в то время в купеческих семьях не было принято учить детей в образовательных учреждениях. Считалось, вполне достаточно уметь считать и читать. Это уже внуки Николая Петровича воспитывались с гувернантками и бонами, а потом учились в лучших университетах России. А 12-летний Николай Пастухов, как и его сверстники из купеческих семей, начал трудовой путь в торговых лавках отца и деда, изучал торговые операции в семейных конторах, исполняя различные коммерческие поручения. Но всю жизнь Николай Петрович серьезно занимался самообразованием, вероятно, ощущая недостаток знаний, полученных в детстве, и стал одним из самых образованных людей своего времени в Ярославле. Пастухов был большим любителем литературы и театрального искусства, и его домашняя библиотека постоянно пополнялась большим количеством книг и журналов литературных, исторических и театральных. Пастухов всегда очень много читал, и, благодаря любви к книгам, прекрасно знал русскую литературу. Он много путешествовал, надо полагать, по делам бизнеса, прежде всего, и его суждения о труде, образовании и политике поражали глубиной мышления, реализмом и меткостью. До глубокой старости Николай Петрович ежедневно прочитывал от двух до восьми газет.
