הקראים החלו להתיישב באמצע המאה התשיעית . במאה העשירית התגבשה בעיר קהילה קראית פעילה שהיתה למרכז קראי חשוב בתחומי היצירה הספרותית וההגות הדתית.
מעט מאד מידע על הקראים אך ניתן ללמוד מאותם מקורות על ענן בן דוד שהיה בן למשפחת ראש הגולה אשר הופקעה ממנו משרת ראש הגולה הוא פעל בבגדד בתקופת החליפה מנצור {775-754}
ההשקפות הבסיסיות של הקראים התגבשו במשך תקופה ארוכה יתכן שהגיבוש של התנועה הקראית ארע במחצית השנייה של המאה התשיעית, עת התלכדו הקראים וצאצאי ענן לתנועה חדשה.
הקראים היו לוחמים ודינאמים מאד הם ביקשו לעשות נפשות להשקפותיהם שלא כמו היהודים הרבנים שהיו ותיקים יחסית בירושלים היו הקראים לעולים חדשים שרובם הגיעו לירושלים מסיבות אידיאולוגיות . האידיאולוגיה הקראית הדגישה את חשיבות יישוב הארץ בזמן הממלכה הרביעית והקראים היו בבחינת דוחקי הקץ. סהל בן מצליח ויפת בן עלי היו ידועי שם בנוגע לעידוד העלייה לירושלים . הקראים זכו לתמיכת השלטונות במאבקם נגד הרבניים, שכן בעת כתיבת הדברים היה בעיר יישוב יהודי רבני שישב בה יותר ממאתיים שנה בעוד שהקראים ביקשו אז לתקוע בה יתד. הקראים בירושלים כינו עצמם ,"שושנים" ואת הרבניים כינו "קוצים" למנהיגיהם קראו "משכילים" . כשהחלו הקראים להתיישב בירושלים סיגלו לעצמם מנהגי אבלות שמתבטאים בריבוי צומות והינזרות מאכילת בשר ויין . בעיני עצמם היו הקראים עניים שזה חלק משליחות חייהם , אותה קיבלו מרצון ומתוך אמונה ,ולכן דבק בהם השם "אבלי ציון".הקראים הראשונים הכירו ספרות אפוקאליפטית של כת מדבר יהודה וזה תרם לגיבוש השקפותיהם לפי דברי סהל בן מצליח היתה במחצית הראשונה של המאה העשירית חבורה פעילה של שישים קראים יתכן שהיו קהילות יותר גדולות כמו ברמלה ששם הקהילה הייתה גדולה וישבו בה נכבדים . אופייה המיוחד של העדה הקראית לא פעם גרם לחיכוכים רבים עם היהודים הרבניים מריבות שלוו בנידויי והחרמות ,בעיקר זה נבע בענייני כשרות ומועדים. היות ולוח הקראים היה שונה משל הרבניים הקראים קבעו את הלוח ע"פ צפייה במולד הירח ,ואת השנה לעבר ע"פ הבשלת השעורה בשדות א"י.שכונתם של הקראים נקראה "צלע האלף היבוסי" ביטוי שמכוון לעיר דוד שכונת הקראים נקרה עוד "חארק אלמשארקה"{רובע המזרחיים,שם זה מעיד על מוצאם של התושבים שרובם עלו מפרס.
