عاش اليهود في الجزائر وتونس منذ أواخر العصر الروماني، وربما منذ تدمير البيت المقدس الأول في أورشليم القدس منذ عام 586 قبل الميلاد. اكتشفت أنقاض كنيس قديم (أي معبد يهودي) يعود تاريخها على الأقل إلى القرن الخامس بعد الميلاد. إن اليهود الذين عاشوا في أفريقيا الرومانية تحدثوا اللغة اللاتينية بالإضافة إلى اللغة اليونانية. كان يهود تونس والجزائر يسمون بأسماء رومانية كما كانوا يرتدون الزيّ الروماني.

تقع مدينة قرطاج قرب مدينة تونس في الجمهورية التونسية اليوم. أسسها الفينيقيون، وأصبحت مركز إمبراطورية كبيرة حكمت شواطئ المغرب العربي وصقلية وإسبانيا حتى سقوطها في حروب مع الرومان. يذكر التلمود الأورشليمي (الغفران "كِفّوريم"؛ وثائق الزفاف "كتُبّوت" 29ج) بأن الحاخام أبا (كذلك اسمه) عاش في مدينة قرطاج. كذلك نجد في التلمود البابلي بأن الحاخام إسحاق القرطاجي (بركات 29أ) نسب إلى مدينة قرطاج. يذكر هذا التلمود أيضاً (الباب الأول "بابا قمّا" 114ب) بأن حاخاما (اسمه أحة أو حنّة) ذهب من قرطاج إلى الأراضي المقدسة. تدل هذه المعلومات عن وجود مجتمعات يهودية في شمال أفريقيا وخاصة في هذه المدينة التي كانت مرتبطة بمركزي التلمود في بابل وبلاد الشام أثناء القرن الثالث إلى القرن السادس الميلادي.

في القرن السابع الميلادي كان يهود أسبانية المسيحية يفرون من اضطهاد ملوك القوط الغربيين وهرب كثير منهم إلى موريتانيا واستقروا في المدن البيزنطية وكل مدن سواحل البحر الأبيض المتوسط وجاء كثير منهم إلى الجزائر وتونس أيضاً. وعندما فتح المسلمون تونس، وأثناء الخلافة العباسية انتقل كثير من يهود المشرق العربي إلى تونس والجزائر والمغرب العربي.

منقول