先日WordPressのVer 5.9がリリースされましたが、そのタイミングでhead閉じタグ前にCSSが、body閉じタグ前にSVGが追加されました。
削除することでどこまで影響が出るかなど細かい部分は追えてませんが、とりあえず何らかの理由でこれらが不要な場合はfunctions.phpに下記を記述することで削除できます。

functions.php
remove_action( 'wp_enqueue_scripts', 'wp_enqueue_global_styles' );
remove_action( 'wp_footer', 'wp_enqueue_global_styles' );