Alexander Kielland ble kjent da han ga ut boka Novelletter (1879), som var en samling korte noveller. I 1880 kom Nye novelletter og i 1882 To novelletter fra Danmark.
I 1880 fikk Kielland stor suksess med romanen Garman & Worse. Den fikk en oppfølger, Skipper Worse, i 1883. I disse to bøkene skrev han om forskjellene mellom rike og fattige og mellom gammel og ny tid.
I romanen Gift (1884) kritiserte Alexander Kielland skolen i Norge. Lille Marius er hovedpersonen, og han blir syk av all puggingen og de strenge lærerne. Det går svært dårlig med lille Marius. Romanen førte til mye debatt om skolen. Kielland skrev en oppfølger til boken, Fortuna (1884).
Kielland er kjent som en stor brevskriver, og nesten 2000 av brevene hans er bevart.
Alexander Kielland brukte ofte kjente personer som modeller for romanfigurene sine. Det var det en del som ikke likte. Det var også mange som syntes Kielland var for kritisk mot samfunnet, og særlig var negative til at han kritiserte kirken. Det hendte at bokhandlerne nektet å selge bøkene hans.