SED：ファイル内の特定の列に対する置換について

あるファイル内にある、特定の文字列を探して、その列だけに置換してファイルに書き込み反映したいのですが、置換がファイル全体に反映されてしまいます。 具体的にはあるファイルとして以下を参照してください。（ファイル名を ssh_config.test とします） https://www.evernote.com/l/AFPI2Q4ErexITKhAeK2_035OZBJSsPu0Jq0 このファイルの黄色い部分 # PasswordAuthentication yes を PasswordAuthentication no に変更したいです。 実際に実行したコマンドは以下の通りです。 $sudo cat sshd_config.test | grep PasswordAuthentication | grep yes | sed -e s/yes/no/g -e "s/#//" -e "s/^ *\| *$//" -i sshd_config.test 目的通りにする方法がわかればよろしくお願いします。