Utilize o seguinte comando no terminal:

php -r 'phpinfo();' | grep php.ini

Funciona em Linux e Unix*.

Update

Segundo o Walter Cruz, algumas distribuições como o Debian podem organizar os php.ini’s da vida de forma diferente, uma para cada situação: php cli, php cgi e mod_php.

Então se você estiver utilizando uma dessas distribuições, pode criar um arquivo test.php:

echo "<?php phpinfo(); ?>" > test.php

Acessá-lo por CGI ou mod_php através do seu browser, e verificar o caminho especificado em Configuration File (php.ini) Path.