Van der Hoeven begon op zestienjarige leeftijd met de studie bedrijfseconomie aan de Rijksuniversiteit Groningen. Hij studeerde vijf jaar later cum laude af. Na zijn studie begon hij een succesvolle carrière bij de NAM (Nederlandse Aardolie Maatschappij) en Shell. In 1985 werd Van der Hoeven lid van de raad van bestuur bij Ahold, hij is binnen het bestuur de financiële man.
In 1993 werd hij voorzitter van de raad van bestuur van Ahold. Aanvankelijk was hij succesvol. Zo werd hij vijf keer achter elkaar benoemd tot topman van het jaar. Onder zijn leiding pleegde Ahold meer dan 50 overnames en het aandeel Ahold was op de effectenbeurs een geliefd aandeel.