ebayのルールで見るならバイヤーの要求は認められません。
セラーはebayで表示されている配達予定期間内に配達が完了するように設定したハンドリングタイム以内に商品を発送する義務があります。

例えばEconomy Shippingが設定されていたが、諸事情を考慮してExpedited Shippingで発送をした。
バイヤーがExpedited Shippingで発送されたことを理由として取引のキャンセルを申し出たとしても、セラーがそれを受ける義務はありません。
また、発送方法にかかわらずバイヤーが関税の支払い拒否、商品の受け取り拒否をした場合、ebayがセラーに返金を要求するようなことはありません。

バイヤーが関税を支払い商品を受け取った後であればリターンリクエストを申請することは可能です。
ただし、リターンリクエスト内やメッセージ内で関税について言及があり、関税を取り戻すためのリターンリクエストである場合はebayが認めない可能性が高いです。

ネガティブフィードバックについてはかかれている内容次第です。
特に発送方法の約束もなく、日本郵便で発送をした。
この場合でFedexと考えていたが日本郵便だから到着に時間がかかった。
こういった内容であれば実際に到着した日が配送予定期間内であれば削除できる可能性が高いです。
しかし、Fedexと考えていたが日本郵便で発送した。
この内容の場合は削除できない可能性が高くなります。
また、関税について言及されていた場合は削除の対象です。

日本郵便の場合、荷物が日本を出た後は止めることは困難です。
国によっては取り戻しもできません。
取り戻しが出来る国で依頼をして取り戻す場合は手数料が発生します。
送料は返金されませんが、一般的に返送料も発生しません。

キャンセル料が何を指しているかは不明です。
基本的にebayでキャンセル料が発生することはありません。
ebay上から全額を返金すれば手数料はすべて戻ります。

ebayがバイヤーの主張を認める確率は10％もないと思われます。
後はセラーとしてどのように判断するかです。

配達方法を事前に購入者にヒアリングしなかった私の落ち度なのでしょうか？（購入者からあなたは事前に配送方法について聞くべきと言われてしまいしました)

ebayはCommunicationを重要視します。
Buyerがそう言うんならそうなんでしょう。

発送してしまったのでキャンセルすると送料とキャンセル料が掛かるのですがこれは私が負担なのでしょうか？

ハイ。