I den traditionelle forståelse var det Adam, der byggede den første Ka’aba, som menneskehedens første bedehus (sura 3,96), og grundlagde Mekka. Byen kaldes også ”byernes moder” (sura 6,92) og betragtes som det sted, hvor Abraham boede, da han ødelagde afguderne i Ka’abaen (sura 21,51-71). Samtidig mener man, at Abraham og Ismael genopbyggede Ka’abaen (sura 2,127), da Abraham vendte tilbage efter at have efterladt Hagar og Ismael der i en årrække.
Mekka beskrives som Muhammeds fødeby og et stort handelscentrum for karavaneruter på det tidspunkt.
Den muslimske bederetning blev ændret til at være mod Mekka omkring 628 e.Kr., som følge af en åbenbaring til Muhammed (sura 2,144). Tidligere blev bederetningen beskrevet som værende mod nord, og man regner typisk med, at det var mod Jerusalem, blandt andet fordi Muhammed forsøgte at få jøderne til at acceptere ham som profet.
På Muhammeds tid var Ka’abaen centrum for afgudsdyrkelse, men da han indtog Mekka i 630 e.Kr. ryddede han den for afguder, så det derefter kun var Allah, som blev dyrket der.
Mekka betragtes som islams væsentligste by og helligste sted. Som nævnt er den retningen for muslimers fem tidebønner, og den er også målet for pilgrimsrejsen, hajj. Det er forbudt for alle, der ikke er muslimer, at komme ind i Mekka.
Et af de væsentligste elementer i Mekka og Ka’abaen er en sort sten, som en engel ifølge traditionen bragte til Abraham, da han genopbyggede den. Muslimer mener, at den sorte sten er et af de eneste tilbageværende elementer fra den Ka’aba, som Abraham byggede, men i dag er stenen 7-8 fragmenter, som er indkapslet og sat i en sølvramme. Under hajj vil muslimer forsøge at komme frem til Ka’abaen for at røre den sorte sten. Nogle traditioner siger, at stenen oprindeligt var hvid, men at den er blevet sort på grund af synden hos de mennesker, som har rørt den.
I nyere tid er der bygget rigtig meget i Mekka, både for at kunne huse og servicere de mange pilgrimme, som kommer til byen under hajj, men flere af de steder, som skal besøges under hajj, er også blevet overdækket. Derudover har man bygget verdens største klokketårn angiveligt ud fra et ønske om, at normaltiden i hele verden skal angives fra Mekka og ikke som nu fra London.
