Er zijn veel verhalen en theorieën over de eerste aankomst van het Jodendom in China. Een aantal daarvan is verbonden met legendes zoals de Tien Verloren Stammen van Israël.
Een grote meerderheid van historici die over het onderwerp hebben gepubliceerd heeft de opvatting, dat de eerste permanente vestigingen van Joden in China uit de tiende of elfde eeuw moeten dateren. Giovanni da Montecorvino, de eerste aartsbisschop van Peking, schreef begin veertiende eeuw in zijn brieven over een joodse gemeenschap in de stad. Marco Polo meldde in Il Milione hetzelfde en noemde een nog grotere gemeenschap in Hangzhou. Ibn Battuta benoemde naar aanleiding van zijn bezoek aan Hangzhou een van de belangrijkste toegangspoorten tot de stad als de Joodse Poort. Diverse overheidsdocumenten uit de periode van de Yuan-dynastie maken duidelijk, dat vanaf 1300 ook joodse religieuze instellingen belastingvrijstelling konden krijgen. Andere joodse gemeenschappen waarvan het bestaan historisch onomstreden is waren aanwezig in Kaifeng, Ningbo, Yangzhou en Ningxia.
Het eerste tastbare bewijs voor de aanwezigheid van Joden in China is een nabij Khotan gevonden brief uit het begin van de achtste eeuw. De brief is geschreven in het Judeo-Perzisch met het Hebreeuws alfabet waarin een joodse handelaar een geloofsgenoot in Isfahan om hulp verzoekt bij een af te sluiten zakelijk contract. Ook onder de manuscripten van Dunhuang is een Hebreeuws document gevonden. Het is een slichot, een joods gebed om vergeving van zonden, dat uit de achtste of negende eeuw moet dateren.
Een moeilijkheid bij het preciseren van specifiek joodse aanwezigheid in China is het feit, dat schriftelijke Chinese bronnen lang hetzelfde woord voor zowel joden als de in omvang veel grotere groep moslims gebruikten. In het huidige China wordt de benaming Hui uitsluitend gebruikt voor moslims. Lang werd echter de term Huihui voor beide groepen gehanteerd, en bovendien ook voor christenen. Pas in de periode van de Yuan-dynastie in de dertiende eeuw wordt de terminologie iets duidelijker. Er wordt dan een onderscheid gemaakt tussen Hui die geen varkensvlees eten en ter onderscheiding van anderen die ook geen varkensvlees eten, Hui die de pees verwijderen. Het laatste verwijst naar de joodse spijswet die het eten van de heupzenuw verbiedt. Joden werden ook wel als Hui met blauwe petten aangeduid ter onderscheiding van andere Hui, die hoofddeksels in andere kleuren droegen.
Over de joodse gemeenschap in Kaifeng is het meeste bekend. Kaifeng was de hoofdstad van de Song-dynastie (960-1279). De joodse gemeenschap bestond in het begin van de elfde eeuw uit oorspronkelijk uit Perzië afkomstige handelaren en hun gezinnen die aan het hof harige kleden aanboden. Er waren op het terrein van twee synagogen drie steles met inscipties opgericht, waarvan de teksten bewaard zijn gebleven. De oudste stele dateert van 1489 en vermeldt de bouw van de eerste synagoge in 1163. Er is een tekstdeel waarin gesteld wordt dat de Joden China via India in de periode van de Late Han-dynastie (50- 250) bereikten. De tekst vervolgt met een verhaal over een audiëntie bij een niet met naam genoemde keizer van de Song-dynastie. Uit die tekst wordt verder duidelijk, dat de diverse joodse gemeenschappen in China in die periode een redelijke mate van contact met elkaar onderhielden. Tot slot beschrijft de tekst de overdracht van de religie vanaf Abraham tot aan Ezra.
De meerderheid van historici heeft het gedeelte over een zo vroege aankomst van Joden tijdens de Han-dynastie altijd als onjuist en als een onhoudbare orale traditie beschouwd. Begin eenentwintigste eeuw zijn er een aantal publicaties van Chinese historici verschenen die deze periode toch als meer geloofwaardig beschouwen. Die opvattingen zijn in het vakgebied echter zeer controversieel.
De tekst op de tweede stele dateert van 1512 en handelt vooral over religieuze voorschriften. De derde stele dateert van 1663 en vermeldt dat na verwoesting van de eerste synagoge door overstromingen deze is herbouwd en bevat verder een soort recapitulatie van teksten op de eerste twee steles.
De gemeenschap in Kaifeng moest zich in een volledig Chinese omgeving uiteraard sterk aanpassen en huwelijken met Chinese mannen en vrouwen kwamen vaak voor. Vanaf de vijftiende eeuw gingen de Joden Chinese namen dragen en waren zij vaak werkzaam in een relatief lage functie in het ambtelijk apparaat. In de vijftiende eeuw heeft de gemeenschap ook geen contacten meer met de joodse wereld buiten China. De gemeenschap heeft de religieuze en etnische identiteit echter tot in de achttiende eeuw kunnen handhaven.
In 1605 ontving Matteo Ricci, grondlegger van de missie van de jezuïeten in China bezoek van een joodse man uit Kaifeng. De joodse gemeenschap daar had berichten gehoord over een nieuwe aanwezigheid in China van personen die geloofden in één God en had aangenomen dat het een nieuwe vestiging van joden zou betreffen. In een later door Ricci geschreven verslag wordt vermeld dat de man bij het zien van een afbeelding van Maria en Jezus dit interpreteerde als een afbeelding van Rebekka met Jakob of Esau. Enkele jaren later bezocht een Chinese lekenbroeder in opdracht van Ricci Kaifeng. Hij kopieerde een deel van de teksten van de in de - dan nog enige - synagoge aanwezige boeken. Ricci kon vaststellen dat het inderdaad om Hebreeuwse teksten uit de Pentateuch handelde.
Later in de zeventiende eeuw en begin achttiende eeuw werd de synagoge in Kaifeng door andere missionarissen bezocht. Dat gebeurde voor het laatst in 1722 door Pere Jean Domenge die een aantal schetsen van de synagoge maakte. In deze periode moet de omvang van de gemeenschap nog ruim duizend leden zijn geweest.
Al in de zeventiende eeuw ging de kennis van zowel Perzisch als Hebreeuws achteruit. Er zijn na 1722 geen bronnen over de gemeenschap in Kaifeng in de achttiende eeuw meer bekend. De laatste rabbijn met nog enige kennis van Hebreeuws moet ongeveer 1810 overleden zijn. De gemeenschap moet in deze periode net als vrijwel de gehele provincie Henan sterk verarmd zijn geweest. De kosten die samenhingen met het handhaven van een noodzakelijk kennisniveau voor het voortzetten van een religieuze identiteit in een verder totaal Chinese omgeving waren niet meer op te brengen. Vanaf 1860 trachtten predikanten van de zending in China ook contact te krijgen met de gemeenschap in Kaifeng. In 1866 werd de synagoge echter afgebroken en als bouwmateriaal verkocht.
Met de term Bagdadi-Joden werd in de negentiende eeuw groepen vaak Arabisch sprekende Joden bedoeld die oorspronkelijk uit het Midden-Oosten afkomstig waren alsmede niet-Arabisch sprekende Joden uit Perzië en Afghanistan. Een deel van deze groep was als handelaar aanwezig in India en met name in Bombay.
Na de Eerste Opiumoorlog en het verdrag van Nanking van 1842 werd Hongkong Brits bezit en werden vijf verdragshavens opengesteld voor handel met het buitenland. Met de Conventie van Peking van 1860 werden daar nog eens elf havens aan toegevoegd. Meerdere in Bombay gevestigde families van Bagdadi-Joden zagen hierin een mogelijkheid om hun commerciële netwerken uit te breiden. Elias Sassoon was de eerste die zich in 1847 in Shanghai vestigde. In de volgende decennia volgden andere families. Deze gemeenschap beheerste het grootste deel van de handel tussen India en China, waaronder de handel in opium. Zij stichtten een aantal industriële ondernemingen in vooral de textielindustrie. Een aantal van de historische gebouwen van Shanghai aan de Bund zijn in opdracht van families uit deze gemeenschap gebouwd. In 1870 verkreeg de gemeenschap grond voor de bouw van een synagoge. De Beth El synagoge werd in 1887 geopend. In de decennia daarna volgden meerdere synagoges, zoals de nog bestaande Ohel Rachel. Rond 1920 woonden er omstreeks 3000 Bagdadi-Joden in Shanghai.
De Bagdadi 's zochten ook contact met nakomelingen van de gemeenschap in Kaifeng. Zij stelden fondsen beschikbaar voor herbouw van een synagoge en opleiding voor een rabbijn. De religieuze identiteit van de deze nakomelingen was echter dermate gering geworden, dat deze pogingen geen blijvend resultaat opleverden. De Bagdadi 's waren van grote betekenis voor de ondersteuning van Russische joden die na 1931 uit Harbin naar zuidelijker gelegen delen van China migreerden.
Aan het eind van de negentiende eeuw trachtten veel Joden vanuit Rusland te emigreren. Het motief was meestal armoede, antisemitisme en pogroms. In 1895 had Rusland China een concessiegebied afgedwongen om de Trans-Mantsjoerische spoorlijn, een zijtak van de Trans-Siberische spoorlijn te bouwen. Na de voltooiing van de lijn trachtte tsaar Nicolaas II in dit deel van Mantsjoerije de Russische economische positie te versterken. Als onderdeel van dat beleid werd Joden een kans gegeven zich daar zonder belemmeringen te vestigen.
De meesten kozen Harbin als plaats voor die vestiging. De eerste joden arriveerden in 1898. Zij werden gevolgd door gedemobiliseerde joodse Russische soldaten na afloop van de Russisch-Japanse Oorlog van 1904/1905. Gedurende en na de Eerste Wereldoorlog arriveerden er meer joden, vooral na de Oktoberrevolutie van 1917. In 1920 waren er omstreeks 20.000 Joden in Harbin en directe omgeving, waaronder ook enkele groepen Karaïten. Er werden een aantal synagogen en joodse scholen gebouwd. De joodse bevolking van Harbin bestond uit bonthandelaren, bankiers, winkeliers. Een aantal kolenmijnen en brouwerijen waren joods bezit. Binnen de gemeenschap waren verschillende politieke stromingen aanwezig, uiteenlopend van zeer zionistisch tot uitgesproken antizionistisch. Harbin werd ook de belangrijkste plaats in Azië van waaruit de meeste literatuur van Ze'ev Jabotinski, de grondlegger van het revisionistisch zionisme werd gedrukt en verspreid.
In 1931 viel Japan Mantsjoerije binnen. In hetzelfde jaar werd in Harbin een Russische fascistische partij opgericht door daar aanwezige personen uit het voormalige Witte Leger. In 1932 werd Harbin bezet en werd het onderdeel van de vazalstaat Mantsjoekwo. De Japanners begonnen met het onteigenen van privébezit van burgers en stonden antisovjet- en antisemitische campagnes van Russische fascisten toe. De joodse gemeenschap begon Harbin te verlaten en velen migreerden naar Shanghai.
Aan het eind van de Tweede Wereldoorlog, toen het leger van de Sovjet-Unie Mantsjoerije weer innam, waren er nog omstreeks 2000 Joden in Harbin. Na 1949 werd Harbin onderdeel van de Volksrepubliek China Een aantal Joden uit Harbin vertrok naar de Sovjet-Unie en ongeveer 1000 naar Israël. In 1955 woonden er nog iets meer dan driehonderd Joden in de stad. In 1985 overleed de laatste van de joodse gemeenschap.
In 1937 bezetten de Japanners ook Shanghai. De stad werd echter in deze periode een belangrijke vluchthaven voor Joden uit Europa. De eerste joodse vluchtelingen waren al in 1933 aangekomen. Na de Kristallnacht in 1938 werd de stroom aanzienlijk groter. Shanghai was een open stad zonder belemmeringen voor immigratie. Het kon wel lastig zijn de stad te bereiken. Sommige Chinese en Japanse diplomaten in Europa zoals Chiune Sugihara konden tot eind 1940 transitvisa uitreiken. Sugihara kon transitvisa uitschrijven, omdat de Nederlandse consul Jan Zwartendijk zogenoemde Curaçao-visa afgaf. In de periode 1938 tot eind 1941 arriveerden omstreeks 20.000 joodse vluchtelingen uit Europa in de stad. Hulp en ondersteuning aan de vluchtelingen werd verleend door de American Jewish Joint Distribution Committee en de al sinds de negentiende eeuw in de stad wonende Bagdadi-Joden. Na het uitbreken van de Tweede Wereldoorlog in Azië moest het Amerikaanse comité het werk staken en werden veel Bagdadi's als Brits staatsburger geïnterneerd.
Vanaf 1942 werd door Duitsland de druk op Japan vergroot om de in Shanghai aanwezige Joden aan hen uit te leveren dan wel zelf actief aan de Holocaust deel te nemen. Daaraan wenste Japan niet tegemoet te komen. Wel werd in februari 1943 besloten om alle Joden die na 1937 in de stad waren aangekomen onder te brengen in wat het Getto van Shanghai zou worden. Op 15 mei van dat jaar werd die maatregel effectief. Het getto was een gebied van 2,5 km². Hoewel het gebied niet omringd werd door prikkeldraad of muren diende iedereen die het gebied wenste binnen te komen dan wel te verlaten een pas te hebben. Een beperkt aantal mensen kon ook buiten het getto hun arbeid voortzetten. Het gebied lag in het district Hongkou en bleef ook gedurende de periode van het bestaan door Chinezen bewoond. De omstandigheden voor de joodse vluchtelingen waren echter slecht. In de winter van 1943 was er volstrekt onvoldoende voedsel. Het getto werd op 3 september 1945 door troepen van Chiang Kai-shek bevrijd. Na de stichting van de staat Israël in 1948 en die van de Volksrepubliek in 1949 vertrokken vrijwel alle Joden uit Shanghai.
Er is sinds enkele decennia een nieuwe belangstelling in China voor de geschiedenis en het cultureel erfgoed van het Jodendom in het land. Wetenschappelijke samenwerking werd ook beter mogelijk door het aangaan van volledige diplomatieke betrekkingen tussen Israël en de Volksrepubliek in 1992. In 2013 waren er aan elf Chinese universiteiten vakgroepen voor Joodse studies aanwezig. De eerste daarvan en de vakgroep die het meest publiceert is The Sino-Judaic Institute in Shanghai. Sinds 2015 bestaat The Chinese National Institute for Jewish Studies.
In Shanghai bestaat sinds 2007 het Shanghai Jewish Refugees Museum, waar de gerenoveerde en heropende Ohel Moshe Synagoge deel van uitmaakt. Een nieuwe synagoge in de stad is in 2007 door de internationale sefardische gemeenschap gesticht. In Shanghai woonden in 2010 omstreeks 2500 Joden. Andere joodse gemeenschappen zijn in Peking, Shenzen, Hongkong en Kanton.