Рокфелер е второто от шест деца и най-възрастният син в семейството на Бил и Елиза Рокфелер. Баща му е с английски и немски произход, а родът на майка му произхожда от Ирландия. Бил работи първо като дървар, а после и като пътуващ търговец. Той е заклет враг на конвенционалния морал и рядко се завръща при семейството си. Известен е със своите тъмни схеми.
Елиза, домакиня и членка на [[Баптизъм|баптистката църква]], се бори за да запази стабилност вкъщи, докато мъжът ѝ непрекъснато отсъства. Примирявайки се съсс женкарството му, тя отглежда и възпитава децата си сама. Междувременно малкият Джон припечелва като отглежда пуйки, продава картофи и от време на време заема малки суми на съседите. Следвайки бащиния съвет, той винаги цели да извлече най-голяма полза от всяка сделка. Докато Джон е още момче, семейството се премества в Ню Йорк, но остава там само две години и през 1853 се установява в [[Кливлънд]]. Там Рокфелер посещава местната гимназия, а по късно и курс по счетоводство в колежа „Фолсом“. Въпреки непрекъснатите отсъствия на баща му и честите премествания Джон се превръща в сериозен, учтив и ученолюбив млад мъж. Негови познати го описват като методичен и дискретен. Той е чудесен оратор и се изразява прекрасно. Много обича музиката и мечтае за кариера в тази сфера. Още докато е много млад, той показва невероятни умения в счетоводството и работата с числа, които предопределят бъдещата му кариера.
