1940'ta Mersin'in bir Toros köyü olan Arslanköy'de dogar. Kendi deyimiyle "kıraç tepedeki domates fidanı" gibi olan yoksul bir çiftçi ailesinin 13 çocuğundan biridir. Çocukluğu Toroslarda yoksulluk icinde geçer. İlköğrenimini köyünde bitirir ve ikinci doğumu olarak gördüğü Diyarbakir Dicle Köy Enstitüsü'ne girer.
Dicle Köy Enstitüsü'nü bitirdikten sonra Siverek'e bağlı, Fırat Nehri kenarındaki, Bucak aşiretine bağlı Kalemli Köyü'nün öğretmenliğine atanır. Henüz 18 yaşındayken, büyük aşiret kavgalarının, silaha tutkun yöre insanının içinde bulur kendini. Fırat taştığında, nehrin kıyısına kustuğu insan ölülerini görür. Bunlarla ilgili hep notlar alır. Yıllar sonra bu notları Kırmızı Yel, Fırat'ın Sırtındaki Kan / Bucaklar ve Yeraltında Uçan Kuş adlı belgesel romanlarıyla kitaplaştırır. Bölgenin büyük aşiretlerinden Bucaklar'ın 200 yıllık tarihiyle, 1960'lı yıllarda patlak veren Bucaklar Kan Davası'nın içyüzünü anlattığı, Fırat'ın Sırtındaki Kan / Bucaklar, sadece Türk Edebiyat tarihine değil, bugün hala konuşulan bir konu olarak, Türk siyasi tarihine de önemli bir eser olur.
1958'de Ankara Gazi Eğitim Enstitüsü Beden Eğitimi bölümüne girer. Gazi Eğitim öğrencisiyken Demokrat Parti'nin baskıcı rejimine karşı öğrenci yürüyüşlerinde başı çeker. İlk tayini Malatya'ya çıkar. 1961-67 yılları arasında Malatya Lisesi'nde beden eğitimi öğretmenliği yapar. Öğrenciliği de dahil hayatının on dört yılının geçtiği Doğu ve Güneydoğu'da özellikle, Malatya, Elazığ, Tunceli, Maraş yöresinde 33 köy hakkında çok geniş folklor araştırmaları yapar, 33 defter not alır. Bu araştırma ve incelemeler sonucu topladığı 1645 bulmaca ve bilmeceyi Su Kurusu adıyla yıllar sonra yayımlar.
1967-1974 yılları arasında İzmit'e spor öğretmeni olarak atanır. Türkiye Öğretmenler Sendikası'nda (TÖS) çalışır. 1970 TRT ödülleri köy kökenli ve Köy Enstitüsü çıkışlı iki sanatçı çıkarır ortaya. Bunlardan biri Ümit Kaftancıoğlu, diğeriyse Osman Şahin'dir. 1970'te yayımlanan Kırmızı Yel, Şahin'in ilk kitabıdır ve TRT Öykü Ödülü'nü alarak geniş ilgi bulur. Daha sonra Türk sinemasının unutulmaz filmleri olacak Kibar Feyzo, Adak ve Fırat'ın Cinleri bu kitabında yer alır. Şahin'e Türk sinemasinda eserleri en çok filme çekilen yazarlardan biri olma unvanını getirecek yolun başıdır bu aynı zamanda. İlk öyküsünü Yilmaz Güney satın alır ancak filme çekemeden hapise girer. O parayla İstanbul'da bir ev alır ve öğretmenliğe Suadiye Lisesi'nde devam eder. Ancak 12 Eylül askeri rejimince Trabzon'un Arşın ilçesine sürülerek emekli edilir.
1978 yılında Aydınlık gazetesinde yayımlanan bir kitap tanıtım yazısı yüzünden 3 Numaralı Sıkıyönetim Askeri Mahkemesi'nde yargılanarak, 142. maddeden 1,5 yıl hapis cezasına mahkûm olur. 1983'te Şile ve Yalova cezaevlerinde yatar. Cezaevinde iken Firar filminin öyküsünü yazar. Ayrıca daha sonra cezaevinde gördüğü, duyduğu, yaşadığı olayları Kolları Bağlı Doğan kitabında hikayeleştirir.
1980'li ve 90'lı yıllar Osman Şahin'in yazarlığının en verimli zamanları olur. 1980'li yıllarda dört kitap yazar. Bunlardan Ağız İçinde Dil ile 1980'de Nevzat Üstün Öykü Ödülü'nü alır. 1990'lar Osman Şahin adının hem Türk sinemasinda hem de edebiyatında adının yurt dışında da sıkça bahsedilmeye başlandığı yıllar olur.
Son Yörük adlı hikayesi 1992 yılında İsveç'te Stockholm'de düzenlenen Enternasyonel Hümanizma Derneği'nin açtığı yarışmada ikinci olur. Aynı yıl Selam Ateşleri kitabıyla Ömer Seyfettin Öykü Ödülü'nü, 1994'te de Sait Faik Öykü Ödülü'nü alır. 1998'de Mahşer ile Yunus Nadi Ödülü'ne layık görülür. Öyküleri Polonya, Macar, Alman, Fransız, İsveç dillerine çevrilir.
1990'ların sonuna doğru Şahin'in sinemaya uyarlanan ve çoğunu kendisinin senaryolaştırdığı 22 öyküsü vardır artık ve bunlar Türk Sinemasına yurt içi ve yurt dışında 24 ödül kazandırmıştır. Atıf Yılmaz'ın çektiği Kibar Feyzo, Adak<