On parle peu et on sait peu de choses sur la présence juive en Afrique, pourtant le rôle de ces communautés était important dans l’antiquité. Il est probable qu'après l'exode d'Egypte et après la destruction du premier Temple (586 av. J.-C.), des groupes de Juifs se sont déplacés vers la Cyrénaïque et le Maghreb à la suite d'une vague de marchands arabes venant de Mossoul. Selon une ancienne tradition de Touggourt, région du Sahara oriental algérien, la population juive est si ancienne qu'elle peut être considérée comme la plus ancienne de la région.

Ibn Khaldun soutient que, lorsque les Arabes pénétrèrent sur les terres des Berbères, au VIIe siècle, beaucoup de ces tribus étaient juives ou fortement influencées par le judaïsme : « Il est possible d'ailleurs que d'autres de ces tribus berbères croyaient à la religion juive dont ils auraient hérité des Israélites au moment de l’expansion de leur royaume. Ce fut le cas de la tribu Kahina, exterminée par les Arabes au début de leur conquête ». Même selon Léon l'Africain, beaucoup de ces régions étaient juives, avant d'être musulmanes, et dans l'Atlas il y avait des tribus guerrières qui prétendaient descendre du roi David.

De nombreux commerçants et artisans juifs vivaient à Wadi Nun, où avait lieu le rassemblement annuel des caravanes marocaines se rendant à Tombouctou et Oualata. Léon l'Africain déclare : « On dit que [...] c'étaient des Juifs de la lignée de David ; mais après que les mahométans eurent acquis ce pays, les habitants se livrèrent à la foi de Mahomet. Il y a beaucoup d'hommes instruits dans la loi, et la plupart retiennent très bien par cœur les décrets et les textes de la loi ».

La communauté juive fut ensuite exterminée par les Almohades en 1050 et après un siècle de nombreuses communautés juives à Kairouan, Sfax, Gabès, Meknès, Fès et Marrakech avaient quasiment disparu. De nombreux juifs abandonnèrent ces régions pour s'installer en Inde, certains restèrent cependant en Afrique, notamment dans la région du Touat (Algérie), où ils furent très actifs jusqu'au XVe siècle, lorsque la route Tlemcen-Touat-Niger constituait l'un des principaux axes du commerce saharien.

250 000 pages de documents commerciaux ont été découvertes dans les ghenizot (dépôts) d'une synagogue du Caire datant des XIe et XIIe siècles, enregistrant des « avoirs » marchands transsahariens gérés par des agents juifs basés à Touat. L'activité fut si intense que les juifs de Touat se tournèrent vers le rabbin d'Alger pour étudier leur situation quant aux risques de profanation du shabbat : comme il n'était certainement pas possible d'abandonner la caravane pour respecter le jour de repos, le rabbin Isaac Bar-Sheshet Barfat (1326-1408) déclara que les caravaniers pouvaient continuer leur voyage à condition que le voyage ait commencé au moins trois jours auparavant.

À partir de la fin du XIVe siècle, les persécutions contre les Juifs s'intensifièrent en Espagne et, peu de temps après, l'Inquisition poursuivit son œuvre ; de nombreux majorquins se sont ensuite installés au Maghreb, où au début ils ont été bien accueillis par les dirigeants locaux. La population juive de Touat augmenta jusqu'en 1492. Cette même année, cependant, les Juifs de Gourara commencèrent à être persécutés par le sultan local Cheikh Abd-al-Karim al-Menghili qui, les accusant de pratiquer l'usure, détruisit les synagogues de Touat et offrit sept mitqals d'or à quiconque tuerait un Juif. Cela provoqua une crise majeure dans le commerce nord-sud saharien, qui subissait déjà de lourdes répercussions du déplacement progressif des routes commerciales vers l’est, vers le Caire.

Dispersés dans le bas Maghreb, les Juifs devinrent des constructeurs de puits et de canalisations, les fameuses foggaras réparties dans toute la ceinture nord-saharienne, un art dont ils donneront encore de belles preuves au XIXe siècle, notamment dans les grandes zones de production au long du fleuve Niger, développées pour adapter la production nécessaire à l'approvisionnement des caravanes vers et depuis l'Egypte. Ils étaient en mesure de creuser des puits, comme dans le cas de Tendirma (Mali), jusqu'à 70 mètres de profondeur.

La présence juive se fait alors plus rare, beaucoup se convertirent ou  perdirent leur identité se mélangeant à la population locale. Au début du XIXe siècle, Mungo Park constate pourtant encore la présence de juifs à Tombouctou, sous la protection des Touareg et des Mauri, dont ils ne se distinguaient pas tout en continuant à pratiquer l'endogamie. Le rabbin itinérant Mardochée Aby Serur, compagnon de voyage de Charles de Foucauld, arrivé à Tombouctou en 1860, raconte avoir été hébergé par la tribu des Daggatun, dont les membres se proclamaient descendants des Juifs. Daggatun signifie : « Ceux qui ont changé de religion ».

Voir, Gli ebrei del Sahara