На левобережье украинских сёл очень мало, в основном русские поселения, в которых сложился самобытный уклад, свои обычаи.
Родители Клима Ворошилова происходили из государственных российских переселенцев, которые никогда в крепостной зависимости не состояли.
Ефрем Андреевич Ворошилов родился в 1844 году в хуторе Воронов Старобельского уезда Харьковской губернии в большой крестьянской семье шестым по счёту сыном. Ворошиловы были прочно привязаны к хутору и никогда не покидали его. Особенно крепко вросли в свои хозяйства старшие братья Ефрема: Свирид, Василий и Иван. Несмотря на то что на песках было трудно заниматься хлебопашеством, они всё же приспособились выращивать рожь, ячмень, различные овощи, разводить скот, овец, птицу. Семьи Свирида, Василия и Ивана жили в целом в достатке.
По-другому сложилась судьба Ворошилова-младшего. С юного возраста он познал солдатчину. Отец отправил Ефрема раньше положенного срока служить в царскую армию вместо одного из братьев (в те времена законом допускалась замена рекрутской повинности брата братом).
После солдатской службы в 1866 году Ефрем возвратился в родной хутор и узнал, что он лишён земельного участка — основного средства существования крестьянина. В тот период на Украине бытовал закон: у тех, кто призывался в армию по рекрутчине, по месту их жительства изымался земельный надел (этот порядок был отменён лишь после 1867 года).
Пять лет Ефрем жил как неприкаянный. Подошла пора жениться, но куда он приведёт жену? Ни собственного дома, ни своего клочка земли, где бы он мог осесть. Зажиточные братья были в силах помочь Ефрему, но поддержки ему не оказали.
Он стал скитаться в поисках работы по сёлам, городам. Нанимался в помещичьи имения, перебивался подёнными заработками на шахтах и рудниках. Ефрем был горяч по натуре, и это сказывалось на его отношениях с хозяевами: он часто конфликтовал с ними, из-за чего приходилось оставлять работу.
В 1871 году он посватался к дочери Василия Агафонова, бедняка из села Боровское, вблизи которого располагался его родной хутор. Мария Васильевна была очень молода — пятнадцати лет от роду. Она была совершенно неграмотная, как, впрочем, и Ефрем. С детства знала лишь изнурительный труд в поле да хлопоты в родительской хате и во дворе.
Женившись на Марии, Ефрем, теперь вдвоём с женой, продолжал мыкаться в поисках лучшей доли.
Молодожёны мало подходили друг другу. Они во всём были разными: по возрасту — Ефрем старше Марии на 13 лет, по внешним данным — он суровый кряжистый бородач, она хрупкая девица с грустным лицом. Но особенно они не совпадали характерами. В Ефреме жил бунтарский дух, он был вспыльчив, самолюбив и нередко защищал своё человеческое достоинство от всяких обидчиков весьма примитивным способом — кулаками. Мария спокойная, набожная, молча сносящая все удары судьбы. Однако жили они без трений, никогда не скандалили. Была меж ними, наверное, и любовь.
Мария через девять месяцев замужества родила ребёнка, на второй год — ещё одного, на неё навалились тяжёлые заботы. Она не роптала, хотя было невыносимо трудно. На руках малые дети: их надо накормить, одеть, обуть, обиходить. Всё — на её плечах. На Ефрема особо не надеялась. За ним она не чувствовала себя как за каменной стеной. Он метался с одного места работы на другое, нередко месяцами оставлял жену и детей одних.
Климент Ефремович вспоминал: «Нужда, невзгоды и беспокойный характер отца тяжело отзывались на её (Марии Васильевны. —
В 1877—1878 годах приключилась Русско-турецкая война, и Ефрема призвали в армию. Более чем на два года осталась Мария с детьми без кормильца. Это время стало для них настоящим испытанием. Как они выжили, про то один Бог знает.
По возвращении Ефрема с войны положение в семье Ворошиловых мало в чём изменилось — нужда никуда не делась.
Семья росла. Кроме Ивана, Катерины, Климента появились ещё две девочки — Аня и Соня.
Климент Ефремович в «Рассказах о жизни» писал, что бедствование семьи никогда не прекращалось. Отец в силу своей неуживчивости непрестанно устраивал ссоры с хозяином или приказчиками, в результате чего сам бросал работу или его увольняли, и он на долгое время оставлял семью, пропадая в поисках хотя бы случайного заработка.
Как ни билась Мария Васильевна, но наступали моменты, когда дети начинали пухнуть от голода, в холода ходили полураздетыми. И тогда она темнела лицом, становилась ещё более молчаливой и посылала Клима и дочь Катю по миру — просить милостыню.
От тяжёлых условий жизни умерли старший сын Ворошиловых Иван и младшая дочь Соня. Климент Ефремович отмечает в воспоминаниях, что для них это было великое горе...
Наконец в середине 1884 года Ефрему Андреевичу удалось подыскать подходящую работу в селе Смолянинове Старобельского уезда. В имении богатого помещика, генерала Суханова, потребовался дополнительный работник для черновых дел. Вместе с Ефремом в генеральское имение была принята подсобницей на кухню и Мария Васильевна.
Суханов почти неотлучно находился в Петербурге и редко наезжал в своё имение. Хозяйством в Смолянинове управлял доверенный человек, в помощниках у него ходили двое разбитных, знавших грамоту молодых людей из местных крестьян, а для выполнения всяких чёрных, тяжёлых работ управляющий держал четверых ломовых мужиков... Жизнь в имении протекала по строго установленному порядку. Саму усадьбу обихаживали дворовые люди: домовая обслуга, конюхи, огородники, садовники, на полях — батраки-подёнщики, в степи пасли стада рогатого скота и отары овец наёмные пастухи.