Fantine, üç yaşındaki kızı Cosette ile birlikte Montfermeil’de iş arayarak geçimini sağlamaya çalışır, fakat başarılı olamaz. Sonunda Cosette’i Thénardier ailesinin bakımına bırakır ve kendisi ekonomik açıdan canlı olan Montreuil-sur-Mer kasabasına doğru yola çıkar. Fantine’in bilmediği ise, Thénardier’lerin zalim ve acımasız bir aile olduğudur; Cosette’i ağır işlerde çalışmaya zorlarlar ve o, annesinin geri dönmesini beklemekten başka çaresi olmayan küçük bir kızdır.

Fantine, Bay Madeleine’in fabrikasında iş bulur ancak Cosette’in açgözlü ve zalim sahipleri tarafından neredeyse bir köle gibi muamele gördüğünü bilmez. Alain, uzun bir tereddütten sonra Bay Madeleine’in kendisine teklif ettiği kuryelik işini kabul eder fakat Madeleine’in aslında Jean Valjean olduğunu, yıllar önce ailesini doyurmak için ekmek çaldığını ve bunun cezası olarak 17 yıl hapis yattığını bilmemektedir.

Montreuil-sur-Mer’e, gençliğinde Toulon hapishanesinde gardiyanlık yapmış yeni polis şefi Javert gelir. O zamanlar Jean Valjean’ı, inanılmaz bir güce sahip bir mahkum olarak gözetlemiştir. Valjean, hapisten çıktıktan sonra suç işlemeye devam etmiş ve izini kaybettirmiştir.

Aradan bir yıl geçmiştir. Cosette’in annesi her ay ev sahiplerine para gönderir ve Cosette, parayla birlikte gelen mektuplarda ne yazdığını öğrenmek ister. Fakat Thénardier’ler ona hiçbir şey söylemez ve Cosette okumayı bilmediği için mektupların içeriğini öğrenemez.

Müfettiş Javert, Belediye Başkanı Madeleine’den şüphelenmeye başlar. Her şeyiyle kendi kollarının gücüyle bir arabayı kaldırıp altında ezilmekte olan bir arabacıyı kurtarması onu kuşkulandırır çünkü bu işi yalnızca olağanüstü güce sahip Jean Valjean başarabilir.

Fantine’in iş arkadaşları, onun gizli bir kızı olduğunu öğrenir; bu söylenti yayılır ve Fantine işten çıkarılır. Fantine, çaresizce Belediye Başkanı Madeleine’den yardım ister ama o sırada Javert’in soruşturmalarıyla meşgul olduğu için onunla ilgilenmez.