La verdad, nunca he comparado lo pesado ya que suele variar depende de las especificaciones de tu vídeo. Pero por lo general, Dxtory ofrece mejor rendimiento en cuanto HD en videos se trata puesto que baja menos fps (cosa que no se puede evidenciar en vídeos de baja calidad). Además, Dxtory permite múltiples opciones de grabar los vídeos, con una gama mucho más amplia que Fraps.
En resumen, ambos sirven para lo mismo, pero si quieres tener un buen vídeo HD con buen rendimiento, elije Dxtory.