При възкачването си на власт, Шарл IV е посрещнат от конфликта между двама кандидатакандидати за император на [[Свещената Римска империя]]: Лудвиг Баварски, който, макар и избран за император, не e признат от папата, и Фридрих Хубави, херцог на Австрия. През [[1322]] Лудвиг Баварски побеждава и пленява своя противник в битката при Мюлдорф. Въпреки това, папа [[Йоан XXII]] отказва да го припознаепризнае за император. Конфликтът между Лудвиг Баварски и Йоан XXII не спира дори и след отлъчването на Лудвиг от църквата, което става начална точка на люта двадесет и пет годишна борба между [[Свещена Римска империя|Империята]] и [[Папа|Папството]].
С отлъчването на Лудвиг Баварски, голяма част от поддръжниците му се обръщат към Шарл Хубави. Все пак, съпругата му Мария ЛюксембусгскаЛюксембургска е дъщеря на покойния император Хайнрих VII. Обстоятелствата дават на Шарл Хубави една мощна подкрепа от страна на аристократите, както и от папата в случай на скорошни избори на нов император. Но Мария Люксембургска умира през [[1324]], с което мечтите за императорската корона прекъсват.
