Dalam paper ini dikembangkan suatu metode baru (novel method) dengan menentukan secara eksplisit fungsi awal v0 pada algoritma value iteration. Pada permasalahan kontrol antrean Markov dengan ruang keadaan yang countable, optimal policy mempunyai suatu ambang batas (threshold) atau struktur switching curve. Sebagai konjektur, jika dapat dipilih suatu fungsi awal v0 untuk mengenerate barisan-barisan monotonik dari threshold dan switching curve dalam n-tahap.
Dalam paper ini dibahas tiga model antrean, yaitu antrean M/M/1 dengan kontrol pada kedatangan, antrean M/M/1 dengan kontrol pada service customer, dan antrean two-competing dengan biaya holding diasumsikan kuadratik. Sebagai hasilnya diperoleh batas atas dan batas bawah yang sangat ketat. Setelah beberapa iterasi, dapat ditentukan threshold optimal atau nilai optimal switching curve pada state yang berhingga. Metode ini dapat digunakan untuk meningkatkan efisiensi perhitungan secara numerik.