Футболната кариера на Шол започва в местния аматьорски Нордвест Карлсруе, където играе в младежката формация от 1976 г. до 1982, след което преминава в „големия брат”брат“, Карлсруе, с когото на 21 април 1990 г. Шол прави своя дебют в Бундеслигата в мач срещу Кьолн и отбелязва петия гол за своя отбор. През следващите две години талантливият халф си спечелва титулярното място в Карлсруе и се превръща в една от водещите фигури в халфовата линия. Добрите му игри в изиграните 58 мача и отбелязаните 11 гола не остават незабелязани и от 1 юли 1992 г. Шол е привлечен в баварския гранд [[Байерн Мюнхен]] за сумата от 6 милиона марки. През следващите години Мемет Шол става най-дълго задържалият се футболист в отбора на Байерн и в цялата Бундеслига изобщо. Той изиграва 469 мача с екипа на баварците, в които отбелязва 117 гола и печели всички възможни клубни отличия, но постига най-важното – успява да спечели сърцата на феновете, както на своя отбор, така и на останалите. Той е печелил титлата на [[Германия]] 8 пъти, като само [[Оливер Кан]] има същият брой титли. Единственото слабо място на Шол са честите му контузии, които го преследват през цялата му футболна кариера. Показателно за проблемите му с травми е и фактът, че Шол е футболистът, който е най-често сменян по време на мач в историята на Байерн. За 469 мача с екипа на баварците, той е бил заменен 149 пъти и е влязъл като резерва в други 147 случая.
