接受任务，为国家效力。汉武帝则表达了对匈奴侵扰的不满，并寄希望于张骞能够成功完成使命，加强与西域的联系，以改变汉朝面临的困境。

张骞领皇帝命令，与胡人堂邑父等人相偕出都，从陇西进发。张骞率领一百多名随行人员，由匈奴人堂邑父为向导从长安出发前往西域。西行进入河西走廊。这一地区自月氏人西迁后，已完全为匈奴人所控制。正当张骞一行匆匆穿过河西走廊时，不幸碰上匈奴的骑兵，他们全部被抓获。匈奴的右部诸王立即把张骞等人押送到匈奴王庭（今内蒙古呼和浩特附近），见当时的军臣单于（老上单于之子）。

军臣单于得知张骞欲出使月氏后，对张骞说：“月氏在吾北，汉何以得往？使吾欲使越，汉肯听我乎？”这就是说，站在匈奴人的立场，无论如何也不容许汉使通过匈奴人地区，去出使月氏。就像汉朝不会让匈奴使者穿过汉区，到南方的南越国去一样。张骞一行人被扣留和软禁起来。

匈奴的单于将张骞他们软禁起来，让他们做奴隶，与此同时也想利用他们，从中了解到汉朝廷的情况，或者企图说服他们为匈奴效力。

张骞并没有屈服，他一直在寻找逃跑的机会，但是匈奴的监视很严，张骞没有成功。后来，匈奴单于想到了一个办法，就是让张骞娶匈奴当地的女子，生下匈奴的孩子，如此就可以让张骞和匈奴产生感情，从而改变他的立场。

张骞虽然不愿意，但是在孤寡无助的情况下，他只能接受了匈奴单于的安排，娶了一位匈奴的女子为妻，并且生了一个儿子和一个女儿。

为此张骞就这样被迫在匈奴生活了十多年，他的妻子儿女也和他相依为命，张骞对他们也有了一定的感情，但是他始终没有忘记自己的使命，始终想要回到汉朝，完成自己的任务。

西汉元光三年（公元前129年），匈奴内部发生了分裂和争斗，匈奴的监视渐渐松弛，张骞见此机会，带着妻儿以及一些同行，逃出了匈奴人的控制区。但在留居匈奴期间，西域的形势已发生了变化。月氏的敌国乌孙，在匈奴支持和唆使下西攻月氏，月氏人被迫从伊犁河流域继续西迁，进入咸海附近的妫水地区，征服了大夏，在新的土地上另建家园。张骞大概了解到这一情况，经车师后没有向西北伊犁河流域进发，而是折向西南，进入焉耆，再溯塔里木河西行，过库车、疏勒等地，翻越葱岭，直达大宛（今乌兹别克斯坦费尔干纳盆地）。

这是一次极为艰苦的行军。大戈壁滩上，飞沙走石，热浪滚滚；葱岭高如屋脊，冰雪皑皑，寒风刺骨。沿途人烟稀少，水源奇缺。加之匆匆出逃，物资准备又不足。张骞一行，风餐露宿，备尝艰辛。干粮吃尽了，就靠善射的堂邑父射杀禽兽聊以充饥。不少随从或因饥渴倒毙途中，或葬身黄沙、冰窟，献出了生命。

张骞到大宛后，向大宛国王说明了自己出使月氏的使命和沿途种种遭遇，希望大宛能派人相送，并表示今后如能返回汉朝，一定奏明汉皇，送他很多财物，重重酬谢。大宛王本来早就风闻东方汉朝的富庶，很想与汉朝通使往来，但苦于匈奴的中梗阻碍，未能实现。汉使的意外到来，使他非常高兴。张骞的一席话，更使他动心。于是满口答应了张骞的要求，热情款待后，派了向导和译员，将张骞等人送到康居（今乌兹别克斯坦和塔吉克斯坦境内），康居王又遣人将他们送至大月氏。

不料，这时大月氏人，由于新的国土十分肥沃，物产丰富，并且距匈奴和乌孙很远，外敌寇扰的危险已大大减少，改变了态度。当张骞向他们提出建议时，他们已无意向匈奴复仇了。加之，他们又以为汉朝离月氏太远，如果联合攻击匈奴，遇到危险恐难以相助。张骞等人在月氏逗留了一年多，但始终未能说服月氏人与汉朝联盟夹击匈奴。在此期间，张骞曾越过妫水南下，抵达大夏的蓝氏城（今阿富汗