最初からLinuxがインストールされているサーバーも販売されています。
インストールされていれば、設置して設定するだけで楽チンですよね。
しかし、新品でLinuxがインストールされたサーバーはそれなりに値段も高い。
特に初めてLinuxを触る、初めてサーバーを構築してみるという人は、新品のサーバーに高いお金を出して作るのが正解かどうか分かりませんが、先ずは壊しても良い気持ちでガシガシ動かしてみる中古のパソコンを利用したサーバーを作るというのが良いのではないでしょうか。
私も最初は、windowsで余ったパソコン（確かpentium3の頃）にLinuxをインストールして、GUI（gnome）を入れ弄っていたように思います。それからサーバーとして動かすためにはどうしたらいいのか？ネットや専門書を読み、CentOSで初めてサーバーを作ったという流れでした。現在は省エネATOMのLinuxサーバーになっています。
では、サーバーにするには、どういった中古パソコンを選べばよいのか？という事になります。
今回のサーバーは小規模な事務所や自宅専用という事を前提とします。
また、サーバーを何に使うか？という点では、ホームページ公開（httpd）とファイル共有（samba）を動作させるという事を考慮した性能の物を選択する事とします。
中古パソコンであれば・・・・・
◎古い機種＝中古価格が安い＝性能が低い
◎新しい機種＝中古価格が高い＝性能は高い という事は分かるかと思います。
しかし、サーバー用途で使うと上記以外にも・・・・・
◎音が静かである。
◎消費電力がなるべく少ない（省エネである）。という事も必要不可欠となります。
なるべく安くサーバーを作りたい、その上、それなりの処理速度が欲しい。
全てを満足させるようなサーバーを作るのは難しい、どこかを切り捨てる必要性がある。
そうしなければ、高い機械を購入する事になる。
◎選択のポイントは自分が決めることである。
1万円以下でPCを買いたい。
2万円以下でメモリが2GB付いているPCを探す。
その予算によって、購入できるCPUやメモリ搭載量、HDDの容量でそのPCがお買い得なのかどうかの判断がついてくるようになると思います。はじめてのサーバー挑戦であれば、１万～２万円以内のPCで充分ではないでしょうか。
この金額であれば、Core2Duoなどの機種が選択できるでしょう。
省エネCPUであれば、ATOMやE350（AMD）なども範囲に入るかと思います。
大きさはブック型よりもタワー型の方が良い。
それは本体内部の体積が大きく、熱がこもり難いという事です。
普通のパソコンと違い、サーバーは常時稼動なので、熱、空気の流れ（吸気・排気）は大切です。
HDDの容量は100GBほどで充分でしょう。
最近のPCのように1TBとかは必要ありません。
HDDを交換するのであれば、今一番安いHDDで充分と思います。
メモリに関しては、CPUやチップセットにも依存しますが、サーバーにするなら最低でも2GBは欲しいところです。中古PCでは512MBとか1GBとかのメモリを搭載している物も多いので、そこは注意して機種を選択して欲しいと思います。後から追加するにしても、メモリは挿せるスロットの数がマザーボードによって制限があるので、DDR2であれば2GBを2枚で合計4GBとかで検討をすべきです。
今、サーバーで使うならCentOS-6が良いのではないでしょうか。
OSは好みもあるので、自分の好きなディストリビューションを使ってください。
先ずは、自分でインストールして、SSHで遠隔操作する。
ここまでを目指してやって欲しいと思います。