Nachdem seine Oma im November 1942 deportiert wurde, lebte er mit seinen Eltern am Johannistisch 9 in Berlin-SW61. Mit 16 Jahren musste er in der Deutschen Waffen- und Munitionsfabrik Borsigwalde arbeiten. Dort verdiente er in der Woche fünfzehn Reichsmark. Nahezu jede Firma beschäftigte in der Zeit von 1938 bis 1945 Zwangsarbeiterinnen und Zwangsarbeiter. Ohne diese Arbeitskräfte wäre die NS-Kriegswirtschaft und die Versorgung der deutschen Bevölkerung spätestens im Jahre 1942 zusammengebrochen. Allein in der Reichshauptstadt Berlin wurden mehr als vierhunderttausend Menschen zu Zwangsarbeit gezwungen. Die Betroffenen wurden jedoch unterschiedlich behandelt. Je nach rassistischer Einstufung der Nazis als Angehörige "germanischer" Völker als "Fremdvölkische", als "slawische Osteuropäer", als "Juden" oder "Zigeuner" unterschieden sich ihre Lebens- und Arbeitsbedingungen. Bezahlt wurden sie mit einem Hungerlohn, oft waren mehrere Familien in zu kleinen Wohnungen untergebracht.

Rolf Schäfer wurde am 28. Februar 1943 nach Auschwitz deportiert. Am Tage zuvor starteten die Nazis die sogenannte Fabrikaktion. Diese sollte die letzten in Berlin lebenden Juden vernichten. In diesen Tagen wurden tausende Juden verschleppt, viele wurden direkt am Arbeitsplatz verhaftet.