הילדים משם מספר את סיפורם של ניצולי השואה שמגיעים בשנות החמישים לשכונת הדר יוסף, מתמזגים עם תושבי הארץ ועם מהגרים מארצות שונות, בונים מחדש את חייהם, ונוצרים בתוכם את סוד השואה.
לא ההורים ולא הילדים מדברים על הזוועות שעברו עליהם 'שם' ורק שברי מילים ומשפטים מסתוריים דולפים מדי פעם החוצה, לאוזניה של יהודית בת האחת עשרה, שבונה בדמיונה את 'שם' כמקום אפל, לא ברור ומסקרן מבלי להבין מה קרה שם באמת.
יחד עם זאת האנשים והילדים מ'שם' שובים את ליבה, פרידה שאותה היא מלמדת עברית, כריסטינה אתה היא יוצרת ארמון קסום מצעיפים, ברוך הסנדלר שמברך אותה לשלום בכל בוקר, ועוד רבים אחרים שהרצון שלהם לבנות ולהיבנות בארץ מתגבר על כל הזוועות.
הספר נכתב בהשראת זיכרונות הילדות של יהודית זיו שכתבה בעבר שני ספרים - "סיפורה של איזבל" ו"נויה והבלון האדום".