Tahun 1979 PSS memulai perjuangannya dalam Kompetisi Divisi II PSSI. Pada babak penyisihan PSS harus bertanding melawan saudara-saudaranya di wilayah DIY, yaitu Persiba Bantul, Persikup Kulon Progo, dan Persig Gunung Kidul. Sedangkan PSIM sudah berada di divisi atasnya. Dalam babak penyisihan ini, PSS menjdi juara.
Setelah lolos dari babak penyisihan di DIY, PSS bergabung dengan perserikatan-perserikatan di Jawa Tengah,seperti Rembang, Jepara dan Batang. Beberapa kali PSS menjadi juara di wilayah DIY kemudian maju ke babak berikutnya bergabung dengan perserikatan di Jateng, beberapa kali pula PSS gagal maju ke babak ke tiga atau babak tingakat nasional. Namun demikian, pengurus dan pemain tidak patah semangat. Mereka mempunyai filsafat bahwa kegagalan adalah sukses yang tertunda. Para pengurus banyak belajar dari kegagalan.
Sumber: Buku Sepenggal Perjuangan PSS