WordPressでデフォルトのままだと、
「前のページへ」「次のページへ」といった状態でしか表示されませんが ページごとに飛べるようにリンクを設定できるプラグインがあります。

インストール方法

左ナビにある「プラグイン」から
「新規追加」をクリック。

[WP Page Numbers]で検索し、
「インストール」をクリックし、インストールしてください。

埋め込みたい場所に下記ソースを差し込み

<?php if(function_exists('wp_page_numbers')) : wp_page_numbers(); endif; ?>

このソースを入れてあげると、表示されます。

アレンジ方法1

インストールすると、左ナビの「設定」に
「Page Numbers」というリンクが出るので
そこでデザインなどを変更できます。

アレンジ方法2

さらに、テンプレートごとにcssが用意されているので、
それを編集することで、カスタマイズできます。

左ナビの「プラグイン」→「プラグイン編集」より
「WP Page Numbers」を選択すると下記が表示されます。
1・ wp-page-numbers/wp-page-numbers.php
2・ wp-page-numbers/classic/wp-page-numbers.css
3・ wp-page-numbers/default/wp-page-numbers.css
4・ wp-page-numbers/panther/wp-page-numbers.css
5・ wp-page-numbers/tiny/wp-page-numbers.css
6・ wp-page-numbers/readme.txt
7・ wp-page-numbers/stylish/wp-page-numbers.css

アレンジ方法1で選んだテンプレートの名前が書いてあるファイル
2.3.4.5.7のどれかをクリックしそのファイルを編集します。
あまり慣れていない方は、バックアップをとっておきましょう。