Несмотря на неимоверный труд, жизнь семьи не улучшалась, а становилась всё более невыносимой. Пришлось определить на заработки тринадцатилетнюю Катю. Вслед за сестрой стал работать пастушком Клим, которому недавно исполнилось семь лет. К. Е. Ворошилов позже вспоминал, что он должен был вставать вместе с матерью ещё затемно и со своим напарником Васей, который был на три года старше, гнать на пастбище стадо телят.

В Васильевке короткое время в 1884 году усилиями иерея Игнатия при Никольской церкви действовала приходская школа, а после того как Игнатий преставился, новый священник не захотел возобновлять занятий. И вот уже несколько лет Васильевские дети не учились. Только с десяток подростков, что успели походить в школу, могли кое-как писать и читать. Все остальные селяне были поголовно неграмотными. В приехавшей в Васильевку семье Ворошиловых тоже никто не владел ни письмом, ни чтением.

Местные крестьяне жили в убогих хатёнках, прибывавшие работать к Алчевскому размещались где попало. Никаких квартир помещик им не предоставлял. Каждый устраивался как мог. Ворошиловы сняли для жилья за довольно скромную сумму захудалую землянку во дворе у одного из жителей Васильевки — Тимофея Крамаренко. Землянка с крохотными оконцами, в которые едва пробивался свет, имела глиняный пол, от него тянуло сыростью. К. Е. Ворошилов через многие годы скажет с горечью: «В этих “хоромах” наша семья прожила несколько лет...»

В книге «Рассказы о жизни» Ворошилов подробно описывает своё трудное детство, ярко передаёт чувства и мысли, воспроизводит ситуации, оказавшие влияние на формирование его характера, выработку воли.

Он рассказывал, что, будучи пастухами телят, они с напарником Василием переносили недетские невзгоды: «Хотелось спать, мы с Васей зябли спозаранку от росистой травы, утренних туманов. Стараясь разогреться, мы бегали за телятами или просто размахивали кнутом. Незаметно сон проходил, и мы втягивались в свой трудовой ритм. Становилось теплее, и мы отогревались на солнышке. Но нежиться не приходилось: всё время надо было смотреть, как говорится, в оба, чтобы наши подопечные не забрели на помещичьи поля или огороды, за что нам изрядно попадало от приказчика»[9].

Он рассказывает об интересном случае, когда впервые проявил свою смелость в противостоянии с сыном приказчика.

Как-то вечером дворовые ребята, с ними был и Клим, собрались возле близлежащей балки, где были сложены заготовленные для господской кухни дрова. Там, среди дровяных поленниц и штабелей кругляка, всегда было уютно и весело. Ребята сидели на брёвнах, на траве или рылись в песке, рассказывая друг другу всякие разности. Иногда играли в соловьёв-разбойников, прятались в кустах и за штабелями. Все они были почти ровесниками, и никто никого не обижал. Исключением был лишь Колька, сын господского приказчика Цыплакова.

Уверенный в своей безнаказанности, он держал себя нахально и высокомерно, любил поиздеваться над малышами и часто ни за что ни про что совал им кулаком в лицо или под бок. И все терпели эти унижения, чтобы не накликать беду на самих себя и своих родителей. Но в тот раз Колька Цыплаков вздумал «пошутить», как он потом говорил, и над своими одногодками. Он взбирался на штабель и оттуда прыгал на кого-либо из пацанов и, свалив жертву, долго смеялся.

В этот вечер он для своей «шутки» выбрал Клима Ворошилова. Клим устоял, не упал, но оставить это так Цыплакову не смог, решил проучить Кольку и навсегда отвадить от дурацких издёвок. Подобрав небольшое полено, он, улучив момент, огрел обидчика чурбаном по затылку. Видимо, перестарался: Колька упал, стал кричать и корчиться от боли. Видевшая всё это женщина, нёсшая воду из родника, воскликнула от испуга:

— Ой, батеньки, парнишку убили!..

Подбежав к ребятам, она окатила Кольку водой. Он очнулся и, размазывая по лицу грязь, поднялся с земли.

— Кто меня ударил? — злобно оскалился Цыплаков.

Клим ответил как можно спокойнее:

— Ударил я, и сделал это для того, чтобы ты понял, бывает ли больно другим, когда ты бьёшь их. И ещё запомни: если кому-нибудь пожалуешься или ещё раз тронешь кого-либо из малышей, я тебе ещё не то сделаю.

— А что ты мне можешь сделать? — заносчиво огрызнулся уже пришедший в себя Колька.

— Тогда узнаешь, — сказал Клим, едва сдерживаясь, чтобы не ударить наглеца ещё раз. Избегая драки, он решил уйти, на ходу бросив ему:

— А если не исправишься — убью.

Поверил ли Колька Цыплаков этой угрозе или нет, но с тех пор его как подменили. Он стал, как и все Васильевские подростки, простым и естественным, лишь иногда косился на Ворошилова с каким-то заячьим страхом...

Стадо коров, за которым глядел отец Клима, значительно увеличилось, и помещик разрешил Ефрему Андреевичу взять себе в помощники сына, имевшего опыт пастьбы, — как-никак уже более двух лет он гонял телят.

Ворошиловы пасли скот на большом выгоне недалеко от имения. Вокруг были хлебные посевы, стога сена. Коровы, несмотря на все старания пастуха и подпаска, иногда заходили на поля жита и ячменя, курочили сенные скирды[10]. За это Ефрем Андреевич получал от управляющего или приказчика выговоры, а то и более строгие наказания — вычеты из заработка. Никакие объяснения не принимались, правыми всегда оставались защитники интересов хозяина.