Buenas, y bienvenido. Creo que el primer paso a dar es irte a un jabón o crema más protector que La Toja, que en ese apartado no destaca. En gama económica tienes la barrita Lea, que aporta, en mi opinión, un mucho mejor deslizamiento y cuidado de la piel. Luego hay un mundo de jabones y cremas, pero de lo que yo voy probando, en cuidado de la piel y protección hay jabones que destacan mucho, sin ser necesariamente caros, por ejemplo, Cella, Mitchell's Wool Fat o Kent (son lo mismo), la crema Alvarez Gómez y la estrella (para mí) en ese aspecto, la gama Premium de Eufros, aunque estos ya "pican" un poco más.
Revisa tu técnica. Con una pasada a favor, otra de través y otra a contrapelo debiera ser suficiente. Presión cero, movimientos cortos. Yo tengo barba cerrada, dura, y que encima nace tumbada, y con tres pasadas, culo de bebé. La mayoría de veces lo apaño con dos y algún retoque.
Cuchillas, visto lo que has probado mi sugerencia es que pruebes Gillette de todos los colores que puedas. Suaves son las verdes, apuraduras las amarillas (y también suaves) y las dos cosas, las Silver Blue. Esto es muy personal y es experiencia propia, pero te puede servir.