בסתיו של שנת 1949, עם ייסוד הרפובליקה הפדרלית הגרמנית בשטחי הכיבוש של בעלות הברית המערביות, למדינה הגרמנית הצעירה עוד לא הייתה ריבונות מלאה בכל התחומים. חוקי הכיבוש נותרו בתוקף, וביטולם היה בגדר הבטחה שהייתה תלויה בשורה של הסדרים פוליטיים ופיננסיים. אחד התנאים לריבונות גרמנית מלאה נגע לפיצויים שישולמו לקורבנות השואה. ברמה העקרונית, ההנהגה הפוליטית של מדינת ישראל הייתה מעוניינת לקבל פיצויים מגרמניה, אך תחילה היא לא הייתה מוכנה לנהל משא ומתן ישיר עם נציגים גרמניים. אלא שבעלות הברית המערביות סירבו לתבוע את הפיצויים מגרמניה עבור ישראל, וכך שני הצדדים נאלצו לשבת סביב שולחן משא ומתן. הדבר קרה החל בתחילת שנת 1952, בעיר האג שבהולנד.
הדיונים בין שתי המשלחות לא היו קלים. הדבר לא היה מפתיע לאור הנושא הקשה והעובדה שחלפו שבע שנים בלבד מאז שחרור מחנות הריכוז וסיום מלחמת העולם השנייה. רוב הציבור במערב גרמניה התנגד לפיצויים. בעיקר התנגד הציבור הגרמני לסכום הגבוה שהקנצלר אדנאואר היה מוכן לשאת ולתת עליו, כ-4 מיליארד מרק גרמני. אולם אדנאואר הבין היטב שאין דרך אחרת אלא להגיע לפשרה עם הצד הישראלי, ובכך לסייע בהשבתה של גרמניה המערבית למקומה הראוי בקרב עמי העולם. לעומת זאת, כל תביעה נגד ממשלת מזרח גרמניה נותרה ללא מענה מטעם המשטר הקומוניסטי, שציית להוראות ממוסקבה ומעולם לא הכיר באחריות העם הגרמני כולו לשואה ולמעשי הזוועה שנעשו בשם העם הגרמני עד שנת 1945.
עוד לפני המשא ומתן בין נציגי שתי המדינות (פליקס שנער מהצד הישראלי ופרנץ ביהם מהצד הגרמני) הוגשו תביעות נגד גורמים רשמיים בגרמניה. התביעות הוגשו ברמת מדינות המחוז השונות שלימים הרכיבו את הרפובליקה הפדרלית – אך לא היה הסדר כלל-גרמני עם יעדים וסכומים ברורים. המשא ומתן בין המדינות היה ארוך וקשה. התקיימו דיונים רבים, וחלקם נוהל תחת מעטה של סודיות מחשש לפגיעה פיזית בנציגים. בחודש מאי 1952 אירע משבר רציני, והצדדים עזבו את הדיונים לאחר מחלוקת קשה בנושא גובה הפיצויים. בסופו של דבר, לקראת סוף מאי 1952, הגיעו הנציגים – ביניהם גם נשיא הקונגרס היהודי העולמי נחום גולדמן – להסכם. לפי ההסכם, גרמניה המערבית התחייבה לספק למדינת ישראל סחורות ושירותים בשווי של 3.5 מיליארד מרק גרמני במשך תקופה של 12 שנה. חלק מההסכם היה ההבטחה הגרמנית לאפשר גם פיצויים אישיים והחזרת רכוש לבעליהם החוקיים. לצורך מימוש הסעיף הזה, הובטח סכום נוסף של 450 מיליון מרק גרמני.
לא רק רבים מאזרחי מערב גרמניה הסתייגו מן ההסכם המתגבש. גם חלקים ניכרים מן הציבור הישראלי לא היו מוכנים לקבל את עצם המשא ומתן, וגם לא את הכספים מ"ארץ הרוצחים", שהוגדרו על ידי המתנגדים "כספי דמים". מנהיג האופוזיציה דאז, מנחם בגין, הוביל את המאבק נגד ההסכם ונגד מדיניותו הבסיסית של דוד בן-גוריון, שקידם במשך שנים את ההתקרבות בין ישראל ומערב גרמניה. בחודשי האביב של שנת 1952, כשכבר התנהל משא ומתן בין הצדדים, בגין נאם בהפגנות ענק שארגן נגד השילומים. בקרב המפגינים היו ניצולי שואה רבים שלא השלימו עם המגעים של מדינת היהודים עם הגרמנים, שרק שבע שנים לפני כן היו חלק מהרייך השלישי, שהיה ללא ספק התגלמות הרשע בתולדות ישראל בעת החדשה. פרק הזמן הקצר שחלף מימי השואה, הטלטלה העזה שעברה על הציבור היהודי עם גילוי היקפה ותוצאותיה והסימנים לחזרה מהירה של גרמניה לחיק האומות הלגיטימיות, עוררו רגשות עזים וחוללו סערת רוחות בקרב היהודים במדינת ישראל וברחבי העולם. המחשבה שמי שהיו אך אתמול הגרועים ברוצחי העם היהודי ישלמו כעת פיצוי כספי על פשע שאין לו כפרה, הייתה עבור רבים אפשרות בלתי נסבלת. התנגדות מסוימת התעוררה גם נוכח הרעיון שמדינת ישראל הצעירה נוטלת על עצמה את ייצוג היהודים באשר הם, ומסכימה בשמם לקבל פיצוי כספי מהגרמנים. הרגישות הייתה כה רבה עד שרשויות המדינה העדיפה לדבר על "שילומים", מונח שהחליף את המושג הבעייתי "פיצויים", כדי להימנע מיצירת הרושם שהמדינה סבורה שאפשר לפצות את הניצולים ואת צאצאי הקרבנות על מה שהנאצים עשו להם.
ב-10 בספטמבר 1952 חתמו הנציגים על ההסכם. הם עשו זאת במקום ניטרלי: בבית העירייה של לוקסמבורג. משה שרת כשר החוץ הישראלי, נחום גולדמן כנציג הסוכנות היהודית וקונרד אדנאואר כשר החוץ המכהן (בד בבד עם תפקידו כקנצלר הרפובליקה הפדרלית). כיום יש הסכמה בקרב רוב ההיסטוריונים, שבזכותו של אדנאואר ההסכם זכה לתמיכה פוליטית בגרמניה, תמיכה שלא הייתה קיימת בשלבים השונים של המגעים לקראת ההסכם. הבנתו הכנה כי אין לפקפק באחריות של גרמניה המודרנית לפשעים של הנאצים, עיצבה את מה שהוא אחד מקווי היסוד של מדיניות גרמניה עד עצם היום הזה. ואכן, ההכרה הגרמנית באחריות לפשעי הנאצים והיחס המיוחד כלפי מדינת ישראל הנגזר מכך הן אבני יסוד ביחסים בין שתי המדינות, כמעט ללא קשר להרכב הממשלות בגרמניה ובישראל.
במסגרת השילומים הגיעו לישראל סחורות רבות שעזרו לכלכלת המדינה להתייצב במהלך השנים. למשל, ישראל קיבלה רכבות חדישות תוצרת גרמניה, שפעלו במשך שנים אחדות בשירות רכבת ישראל. אולם, מהר מאוד התברר שהמנועים העדינים לא עמדו בתנאי האקלים של המזרח התיכון, כך שהרכבות הוצאו מהשירות. אחדים מהקרונות זכו בקריירה שנייה, מפתיעה: אחד הקרונות נתרם לארגון "יד שרה" ושימש כמשרד של הארגון במרכז ירושלים, וקרון אחר משמש עד היום בית לתיאטרון בובות, "תיאטרון הקרון", בגן הפעמון בירושלים.