В общем зашел я на канле генту-ру (часто там сижу), слово за слово, и меня подбили на переход на 64 битную систему, взвесив все за и против (мне было и так скучно,
хотя 32 бита работало как надо), я решился на это. И так, как я это сделал.
Первым делом, я забекапил:

/etc/ - все моими настройками (кроме флагов и фтаба и маке.конф, там почти все настройки всей системы)
/var/lib/portage - там находится мой мир(world - все пакеты, вроде списка всех пакетов, что я поставил) с его настройками.
/usr/src/linux/.config - эта папка симлинк на текущее ядро, ну и понятно я скопировал его настройки

Мои ошибки были, это забыть забекапить :