Можно сказать, что с сороковых годов XIX века.
Именно тогда относительное прилагательное « халатный» (халатная ткань, халатный покрой) приобрело, поначалу в литературе, а затем и в обиходе, качественное значение: небрежный, неряшливый, нерадивый, лениво-недобросовестный — по отношению человека к службе (работе), своим обязанностям, домашним делам и т. д. Такое отношение стали называть халатным или халатностью.
Халат в дворянской среде изначально был символом русского барства с его леностью, необязательностью. У помещиков и чиновников он был типично домашней одеждой. В эволюции значения слова «халатный» заметный след оставил Н.В. Гоголь, придав ему ироническую окраску: «Один был отец семейства, по имени Кифа Мокиевич, человек нрава кроткого, проводивший жизнь халатным образом. Семейством своим он не занимался; существованье его было обращено более в умозрительную сторону и занято следующим, как он называл, философическим вопросом…».
