ירוחם כהן, בן למשפחה תימנית, בילה את ילדותו בין כותלי בית הספר גימנסיה הרצליה. אביו היה שַׁמש בית הספר, ולכן משפחתו התגוררה במתחם. בגיל 16 הצטרף לשורות "ההגנה" והיה ממקימי הפלמ"ח. ירוחם, שידע ערבית על בוריה, הכיר בפלמ"ח את יגאל אלון, ובין השניים נוצר חיבור מיידי.

יגאל אלון רצה ש"ההגנה" תפסיק להשתמש במודיעים ערבים שסיפקו ידיעות מודיעיניות תמורת תשלום; הוא ראה בכך סיכון ויצירת תלות, ולכן פיתח את תפיסת ה"הסתערבות" – איסוף מודיעיני על ידי לוחמים יהודים המתחזים לערבים ונטמעים בסביבה המקומית. הוא קרא לירוחם להקים ולפקד על מה שלימים תיקרא "המחלקה הערבית" בפלמ"ח. ירוחם חיפש מועמדים בעלי חזות מזרחית, ילידי ארצות ערב ודוברי ערבית כדי להקים את גרעין המסתערבים הראשון, ולאחר תקופת אימונים שלח את המגויסים הטריים לדמשק, לחוּמְס, לחַלֶבּ, לביירות ולטריפולי כדי להשיג ידיעות מודיעיניות ולעזור לקהילה היהודית לעלות ארצה.

בשנת 1947 שונה ייעוד המחלקה: לא עוד יציאה למדינות עוינות, אלא השתלבות בקרב האוכלוסייה הערבית בארץ. המשימה לא הייתה קלה. חברי המחלקה, שעלו ממדינות ערב, התמחו בהשתלבות בארצות מוצאם וכעת התבקשו להידמות לערבי הישראלי שהכיר מקרוב את יהודי הארץ. השינוי דרש היכרות מעמיקה עם הניב המקומי, המנהגים ואורחות החיים.  

"המחלקה הערבית" שולבה בצה"ל בימי מלחמת העצמאות. ירוחם כהן המשיך לשמש בתפקידי מודיעין ועם פרישתו מצה"ל התמנה לשגריר ישראל בניגריה.