Раннее детство Вуди прошло в Техасе, с отцом Чарльзом Харрельсоном, который позднее умрет в тюрьме, отбывая два пожизненных срока. Актер вспоминает, что отец «почти не бывал рядом» и что его родители «расстались молодыми».
По словам знаменитости, отец покинул семейный дом в 1968 году. Примерно в это же время его обвинили в убийстве человека по имени Алан Гарри Берг, передает Daily Star.
Сам Харрельсон с содроганием вспоминает момент, когда узнал про тайную жизнь своего отца.
«Мне было 11 или 12 лет, когда я услышал, как его имя упомянули по автомобильному радио. Я был в машине, ожидая леди, которая забирала меня из школы, помогала моей маме, я слушал радио, и там говорили о Чарльзе V Харрельсоне и его суде за убийство и бла-бла-бла-бла, и я сижу там и думаю, что другого Чарльза V быть не может. Харрельсон. Я имею в виду, это мой отец! Это было дикое осознание», – рассказал он.
Мужчина был игроком и зарабатывал на жизнь, продавая энциклопедии, но, по всей видимости, обратился к преступной жизни в начале 1960-х годов, когда его осудили за вооруженное ограбление. Позже он рассказал, как за это время был причастен к десяткам убийств, и даже приписал себе убийство президента США Джона Кеннеди.