Сионизм, возникший в XIX веке в еврейской диаспоре, был выражением вековых чаяний еврейского народа о возвращении на родную землю. Сионизм стал мощным национально-освободительным движением, поставившим своей целью восстановление Еврейского государства на Родине Еврейского народа — в Стране Израиля.
Для Трумпельдора и его товарищей, сошедших с корабля на палестинский берег в сентябре 1912 года, слова о возвращении еврейского народа в Страну Израиля были не лозунгом, а руководством к действию. Им предстояло примкнуть к еврейским поселенцам, уже обосновавшимся к тому времени в Святой Земле.
Репатриацию российских сионистов-социалистов в Страну Израиля, так называемую "Вторую алию", открыла гомельская группа, прибывшая в страну в январе 1904 года. Во главе этой группы (14 человек) стоял Йехезкель Ханкин, руководивший отрядом еврейской самообороны во время гомельского погрома. Переселение гомельцев в Страну не было прямым следствием погромов. Еще в 1902 году они решили ехать в Эрец Исраэль и начали к этому готовиться. Но когда распространилась весть о кишиневском погроме, они отложили отъезд ради организации самообороны, понимая, что после Кишинева наступит черед других городов.
В своей декларации, опубликованной в ноябрьском номере ежемесячника "Еврейская жизнь" за 1904 год, участники группы Хан-кина писали:
Еще один призыв к еврейской молодежи прозвучал в воззвании Иосифа Виткина, уже жившего в Палестине:
Призыв пионеров сионизма вызвал отклик у молодых сионистов из разных уголков России — в Палестине возникла организация еврейских сельскохозяйственных рабочих, и там же было заложено первое еврейское поселение коммунистического типа, получившее название Дгания. Именно в Дгании прошли проверку методы коллективного хозяйствования и социального устройства общины равноправных рабочих, воплотившиеся затем в мощном кибуцном движении.
В 1906 году в Палестине поселенцы из России создали сионистские социал-демократические партии — "Поалей Цион" (Рабочие Сиона) и "а-Поэль а-Цаир" (Молодой рабочий).
Ведущий лозунг членов "а-Поэль а-Цаир" состоял в завоевании труда для еврейского рабочего. Члены "Поалей Цион" решили взять дело охраны еврейских хозяйств в еврейские руки. Группа участников самообороны из России, примыкавших к "Поалей Цион", основала в 1907 году организацию по охране и обороне под названием "Бар-Гиора" (в честь вождя восстания против римлян в конце эпохи Второго храма), которая в 1909 году была переименована в "а-Шомер" (Страж).
Жизнь еврейских поселенцев в Палестине больше всего напоминала освоение американцами Дикого Запада. Так же, как американцы осваивали новые земли, отбивая атаки индейцев, еврейские поселенцы столкнулись с непаханной сотни лет пустыней, тяжелым климатом, болезнями, недостатком воды. К этим трудностям добавлялись нападения на еврейские поселения шаек арабов-кочевников, поджигавших посевы и похищавших сельхозинвентарь. Непростые взаимоотношения с арабами-кочевниками нередко приводили к стычкам с ними, в которых еврейские поселенцы теряли своих товарищей.
Турецкие власти, под чьим управлением находилась тогда Палестина, также всячески препятствовали еврейскому социалистическому переселенчеству. Турки опасались, что прибытие новых эмигрантов из России создаст новый очаг национальных проблем в Оттоманской империи, что может привести к отторжению Палестины от империи, а сами сионисты, бывшие в большинстве своем российскими гражданами, рассматривались турками в качестве агентов России, враждебной Турции.
Все эти препятствия не останавливали еврейских первопоселенцев. Трумпельдор начал свою жизнь в Стране Израиля с того, что примкнул к крестьянам сельскохозяйственной фермы Мигдаль, чьи угодья раскинулись в Нижней Галилее недалеко от Тивериадского озера.
Земли под ферму Мигдаль были приобретены Всемирной Сионистской организацией в 1909 году. Уже в следующем году на обретенной целинной земле была основана ферма, на которой первоначально работало двенадцать еврейских крестьян — десять мужчин и две женщины. Ферма специализировалась на полеводстве, выращивании люцерны и хлопка, был там построен и питомник. Поселенцам предстояло не только поднять непаханую целину, но и построить систему искусственного орошения. Работы было много, потому число работников фермы быстро выросло до шестидесяти человек. Среди них был и Трумпельдор с группой своих единомышленников. Впрочем, в коллективе фермы Мигдаль не всё было гладко: из-за конфликтов группа Трумпельдора распалась, и каждый пошел своим путем.
Трумпельдор перебирается в расположенную неподалеку сельскохозяйственную коммуну Дгания. Она была первым кибуцем — кооперативным сельскохозяйственным поселением социалистического типа, в котором были разработаны принципы равного распределения труда и коллективного обеспечения материальных нужд ее членов. Дгания была центром социалистического кибуцного движения, в ней формировались группы энтузиастов, основавших десятки новых кибуцев по всей стране. Это был смелый социальный эксперимент, не имеющий аналогов в мировой истории. В Израиле Дганию по праву называют "матерью всех кибуцев".
В Дгании Трумпельдор увидел воплощение своих идей о коллективе сионистов-единомышленников, в котором на практике были реализованы такие социалистические принципы как общность имущества и равенство в труде и потреблении. В кибуце Иосиф, что называется, пришелся ко двору. Он с радостью занимался крестьянским трудом — пахотой, косьбой, работал на строительстве хозяйственных помещений, на молочной ферме, в птичнике, питомнике, занимался ремонтом сельскохозяйственных орудий.
В Дгании, как и во всех еврейских поселениях в Стране Израиля, серьезной проблемой, способной поставить под угрозу само выживание поселений, были постоянные нападения арабов с целью грабежа, а зачастую — и просто вредительства. Такие стычки нередко заканчивались гибелью поселенцев от арабских ножей и пуль. Было ясно, что поселенцам придется не только поднимать сотни лет непаханную целину, но и защищать свои поселения от нападений арабов. Трумпельдор, чей военный опыт весьма пригодился, примкнул к сторожевому отряду еврейских поселенцев. "Винтовка и плуг" были символами еврейского поселенческого движения в Стране Израиля.
Благодаря авторитету и уважению, завоеванному среди поселенцев, Иосиф был избран делегатом 11-го Сионистского конгресса, который прошел со 2 по 9 сентября 1913 года в Вене — столице Австро-Венгрии. Целью Трумпельдора и других делегатов из Страны Израиля было донести до конгресса и руководства Всемирной Сионистской организации планы поселенцев Страны Израиля по дальнейшему освоению родной земли. Конгресс проходил в "Konzerthaus", одном из крупнейших залов австрийской столицы. Среди 540 делегатов конгресса участники из Страны Израиля отличались от чопорных господ в смокингах своим загаром и крестьянским обликом.
В центре обсуждений был доклад доктора Руппин, главы представительства Всемирной Сионистской организации в Палестине, о поселенческой деятельности в Стране Израиля. Содержание его поучительной лекции и его ответы выступавшим в прениях покорили сердца слушателей. Перед присутствующими встала картина систематической, плодотворной работы, руководство которой находится в надежных руках. Руппин отверг доводы "политиков" об убыточности поселенческой работы: нельзя подходить к национальному предприятию с коммерческими мерками. Имеются вещи чрезвычайно прибыльные в коммерческом смысле и не имеющие никакой ценности с точки зрения национальной; и бывают предприятия, не дающие коммерческого дохода, а подчас и убыточные, однако чрезвычайно ценные именно с этой стороны. Поэтому так важны расходы по найму рабочих разных профессий, необходимых для поселенческой деятельности. В частности, Руппин сказал: "Мы примирились с фактом, что нам придется добиваться нашей цели не с помощью "чартера" — разрешения турецких властей, а путем практической работы в Эрец Исраэль".