1926 ജൂണ്‍ 26ന് കോഴിക്കോട് ടൗണ്‍ഹാളില്‍ വിളിച്ചു ചേര്‍ത്ത ഒരു സമ്മേളനത്തില്‍ വച്ചാണ് സമസ്ത കേരള ജംഇയ്യത്തുല്‍ ഉലമ രൂപീകൃതമായത്. സയ്യിദ് ശിഹാബുദ്ദീന്‍ ചെറുകുഞ്ഞിക്കോയ തങ്ങളുടെ അധ്യക്ഷതയില്‍ ചേര്‍ന്ന സമ്മേളനം വരക്കല്‍ ബാഅലവി മുല്ലക്കോയ തങ്ങളെ പ്രസിഡണ്ടും പി വി മുഹമ്മദ് മുസ്‌ലിയാരെ സെക്രട്ടറിയുമായി തെരഞ്ഞെടുത്തു.
1924ല്‍ രൂപീകൃതമായ കേരളത്തിലെ ആദ്യ പണ്ഡിത സംഘടനയായ കേരള ജംഇയ്യത്തുല്‍ ഉലമ (കെ.ജെ.യു)യില്‍ ഉണ്ടായിരുന്ന ചില പണ്ഡിതന്‍മാരാണ് 'സമസ്ത' രൂപീകരിച്ചത്. വിശുദ്ധ ഖുര്‍ആനും പ്രാമാണികമായ ഹദീസുകളും മാത്രമേ ഇസ്‌ലാമിലെ പ്രമാണമായി സ്വീകരിക്കാവൂ എന്ന കെ.ജെ.യു നിലപാടില്‍ അഭിപ്രായ വിത്യാസം പ്രകടിപ്പിച്ചു കൊണ്ടാണ് സമസ്ത കേരള ജംഇയ്യത്തുല്‍ ഉലമാ മാറി നിന്നത്.
1934ല്‍ നവംബര്‍ മുതൽ സമസ്ത കേരള ജംഇയ്യത്തുല്‍ ഉലമാ പ്രവര്‍ത്തന രംഗത്ത് സജീവമായി.
