Внутриполитический кризис, приведший к убийству халифа Усмана, положил начало расколу мусульманской общины на сторонников Али бин Абу Талиба и Муавии бин Абу Суфьяна. Последний был назначен наместником Шама ещё при Умаре бин аль-Хаттабе и пользовался там большим уважением. Он был родственником Усмана и после избрания Али халифом отказался присягать ему до тех пор, пока убийцы не будут наказаны.

В 657 г. при Сыффине между их сторонниками произошло крупное сражение, которое завершилось перемирием. Халиф Али согласился на третейский суд, что вызвало неудовольствие в лагере его сторонников, и тогда 12 тысяч воинов откололись от его армии и обосновались в местечке Харура (в двух милях от Куфы). Они упрекали халифа в том, что он отказался брать пленных и военные трофеи, а его согласие на третейский суд расценили как отказ от суда Всевышнего Аллаха. Их религиозные взгляды отличались крайней нетерпимостью к инакомыслию и требованием строгого исполнения законов Шариата в их собственном понимании. Эта группировка была названа хариджитами (араб. хаваридж — «выступающие», «мятежники») и впоследствии переросла в крупное религиозно-политическое движение.

В 658 г. между хариджитами и войсками халифа Али состоялось крупное сражение, завершившееся разгромом повстанцев. Однако они не прекратили борьбу, и в рамадане 661 г. хариджит по имени Абд-ар-Рахман бин Мулджам смертельно ранил Али бин Абу Талиба. На протяжении многих веков хариджиты оставались одним из главных факторов, дестабилизировавших внутриполитическую ситуацию в Халифате. Они совершали тяжкие преступления, убивали мирных мусульман только за то, что те не соглашались с их взглядами.

Хариджитское движение не было однородным; группы повстанцев действовали разрозненно и нередко расходились в основных вопросах веры. Их объединяло то, что они считали законным выступление против правителя, не выполняющего законы Аллаха, и объявляли мусульман неверующими за совершение тяжких грехов. Политическая раздробленность и неприязнь со стороны мирного населения значительно ослабляли их шансы на успех.

В центральных областях Халифата хариджиты вели ожесточённую борьбу с центральной властью, однако постоянные преследования вынудили многих из них бежать в отдалённые регионы. В середине VIII века приверженцам хариджитских группировок ибадитов и суфритов удалось создать в Северной Африке два государства. Вопреки хариджитской концепции власти, правители этих государств основали династии, которые просуществовали сравнительно недолго. В разное время умеренные группы хариджитов приходили к власти и в других мусульманских странах.

В настоящее время многочисленные общины ибадитов, придерживающихся умеренных взглядов, сохраняются в Алжире, Ливии и Омане. Однако в последние десятилетия в различных областях мусульманского мира возродились и получили распространение радикальные идеи хариджитов, прикрываемые призывом к очищению ислама от нововведений. Они были использованы различными экстремистскими группировками и положены в основу идеи о всемирном джихаде и воссоздании Халифата. К таким группировкам относится и «Партия освобождения» (Хизб ат-тахрир), деятельность которой на территории Российской Федерации запрещена.