Alhambra ediktom, potpisanim 31. marta 1492, od strane katoličkog kraljevskog para Ferdinanda II i Izabele I, otvoren je put Španskoj inkviziciji da otpočne u istoriji nezapamćen pogrom i progon Sefarda, Jevreja Iberijskog poluostrva. Broj izgnanih, za koje se pretpostavlja da je bio između 160.000 i 250.000, potražilo je utočište u evropskim zemalja, krajnjem severu Afrike, kao i na teritoriji Otomanskog carstva. U nove krajeve Sefardi su poneli svoj jezik- đudeo-espanjol poznat kao Ladino, svoju tradiciju i kulturu i običaje zemlje u kojoj su vekovima živeli.
Beograd su počeli da naseljavaju sredinom 16. veka. Svoju mahalu izgradili su na Jaliji, dunavskoj obali, da bi se kasnije proširili do Dorćola, odnosno raskrsnice današnjih ulica Kralja Petra i Cara Dušana, centra tadašnjeg trgovačkog života. Iz rabinskih responsa (pitanja i odgovori) sazajemo da su mahalu činile prizemne ili kuće na sprat, sa baštama skrivenim od pogleda javnosti, a radnjama sa ulične strane.
Naseljavanje Beograda "španskim" Jevrejima poklapa se se turskom vladavinom u gradu. Iako su plaćali harač, Jevreji su pod otomanskim vladarima imali određena građanska i verska prava. U prilog tome ide činjenica da je u to vreme osnovana Talmud Tora, škola za jevrejske dečake, a zahvaljujući beogradskom rabinu Jehudi Lermi, u 17. veku je osnovana i prva ješiva, jevrejska verska škola.
Pred pad Beograda u ruke Austrijanaca 1688, u gradu je živelo oko 800 sefardskih Jevreja. Dolaskom nove vlasti nehrišćansko stanovništvo napušta svoje domove. Jevreji nalaze utočište pre svega u gradovoma Otomanske imperije. U Beograd se vraćaju sa njegovim ponovnim osvajanjem od Osmanilija 1690, ali u mnogo manjem broju nego što ih je izbeglo. Uprkos zabrani zidanja novih bogomolja, jevrejska zajednica je ipak dobila dozvolu od turskih vlasti za gradnju novog hrama. Podignut je u Mojsijevoj ulici, a među stanovništvom je bio poznat kao El kal vježu (Stari hram). Taj mali kal, oblika jednobrodne bazilike, vekovima je, uz povremene popravke, odolevao ratovima i požarima koji su zahvatali grad. Uprkos brojnim apelima sinagoga je srušena posle Drugog svetskog rata. Uz nju je u 19. veku podignuta Kaziliku (Mala sinagoga), koja je služila za molitve preko nedelje kada nije dolazilo mnogo vernika.
Osamnaesti vek obeležile su promene vlasti u Beogradu, smenjujući se između turske i austrijske. To je dovelo do stagnacije u celokupnom razvoju jevrejske zajednice, koja je živela u stalnom strahu, progonima i pod raznim zabranama.
Buđenjem nacionalne svesti srpskog naroda početkom 19. veka i otpora koji je pružio Osmanlijskoj dominaciji, dovelo je, 1815, do stvaranja Kneževine Srbije. Za vreme prve vladavine srpskog kneza Miloša Obrenovića (1815-1839), Jevreji hatišerifom dobijaju građanska prava. U gradu je tada živelo oko 1200 Sefarda, kao i mala aškenaska zajednica sa oko 200 duša. Jevreji se sve više uključuju u političke i kulturne tokove zemlje. U Knjažesko-Serbskoj tipografiji, otvorenoj 1832, koja je raspolaga i hebrejskim slovima, Jevreji počinju da štampaju svoje knjige. Posebnu blagonaklonost knez Miloš pokazivao je prema Hajimu Ben-Davidu -Daviču, koji je bio jedan od njegovih glavnih liferanata i bankara. Mlada srpska buržoazija videla je oštru konkurenciju u usponu jevrejske zajednice, a ne retko pokazivala i znake netolerancije. Situacija se menja 1842. dolaskom na tron kneza Aleksandara Karađorđevića. Podstaknut već uveliko iskazanim nezadovoljstvom Srba objavljuje dekret, kojim se Jevrejima oduzimaju dobijena građanska prava. Sve do Berlinskog kongresa 1878, na kome je Srbiji priznata nezavisnost, ova prava nisu bila vraćena. Pa čak i tada to je bilo samo formalno, dok je stvaran život bio sasvim drugačiji. Punu deceniju su se Jevreji borili kako bi im i ustavom bila ukinuta razna ograničenja. Tome su doprineli i napori ogranka Alliance Israelite Universelle (Sveopšte jevrejske alijanse) koji je delovao u Srbiji, a na čijem čelu je, po osnivanju 1882, bio Avram Ozerović, kasnije poslanik u Skupštini Srbije.
Dobijanjem građanskih prava, zagarantovanih Ustavom iz 1888. započinje ubrzani proces asimilacije Jevreja. Mnogi, pogotovo mladi, izlaze iz mahale, napuštajući dotadašnji tradicionalni način života. Nastanjuju se na padini Zerek, drugoj polovini dorćolske trgovačke čaršije, gde otvaraju dućane u kojima rade na jevrejske praznike, pa čak i šabat. Sve manje posećuju svoju mahalu, kao i sinagogu. Zbog toga je krajem 19. veka rukovodstvo Jevrejske veroispovedne opštine sefardskog obreda, na čelu sa tadašnjim predsednikom Jakovom M. Alkalajem, odlučilo da na Zereku podigne novu sinagogu. Na posedu koji je kupljen zaveštanim novcem bračnog para Mate i Rakile Levi, 1908. obavljeno je svečano osvećenje novoizgrađene sinagoge Bet Jisrael, danasnja ulica Cara Urosa. Na istom placu 1928, po projektu jevrejskog arhitekte Samuela Sumbula, podignut je Dom crkveno- školske sefardske opštine, danasnja ulica Kralja Petra. Opštinu su sve do početka Drugog svetskog rata vodile istaknute i značajne ličnosti, ne samo za jevrejsku zajednicu. Neki od njih su Jedidija- Edij Buli, osnivač bankarske kuće Buli i poslanik u Skupštini Srbije, dr David M. Alkalaj, delegat srpskih Jevreja na svim cionističkim kongresima, počevši od Prvog, održanog u Bazelu 1879, gore pomenuti Avram M. Ozerović, zatim Bencion Buli, vlasnik jedne od vodećih beogradskih bankarskih kuća i jedno vreme predsednik Potpore, društva koje je finansijski pomagalo školovanje siromašnih Jevreja, dr Solomon Alkalaj, učesnik u Prvom svetskom ratu, predsednik sefardskog akademskog društva Esperansa i aktivan član Bene-brit lože "Srbija", dr David Albala, takođe učesnik u Prvom svetskom ratu, član Kraljevske srpske političke misije u SAD 1917-1918, i poslednji predsednik Sefardske opštine pred Drugi svetski rat.