Haciendo caso al comentario de Fernando sobre configurar el router para multipuesto, multiusuario o como quieran, puse manos a la obra. No les diré como lo hice, porque me puede traer algunos problemas... si alguien quiere saber, que averigüe mi correo y me envíe un mensaje :P

Variables de configuración

En la configuración de mi proveedor, el router o modem tiene como dirección 192.168.1.1. Tengo dos computadores, así que también tengo que dejar funcionando la red local.
No es complicado. Existen 4 parámetros que debo tomar en cuenta:

1. IP del host: el computador residente debe tener una dirección dentro de la red local. Prefiero las IP estáticas, así que asignaré 192.168.1.2 a una máquina y 192.168.1.3 a la otra. La otra alternativa es usar DHCP, pero eso es parte de otra historia ;)
2. Broadcast: Por lo que yo he entendido (corrijanme si me equivoco), debe existir una dirección dentro de una red local donde todos los computadores envíen los paquetes comunes. A esa se le llama 'broadcast' y suele tener el número más alto dentro de la subnet, o sea, 192.168.1.255 en nuestro caso
3. Netmask: Para definir el límite de mi red, debo entregar 4 bytes que en su conjunto se denominan máscara de red o netmask. Si los expresamos en binario, tendremos un conjunto de 4 x 8 bits, algo como:
   

   00000000.00000000.00000000.00000000

   Los 0 representará las direcciones que están dentro de nuestra red local, en tanto que los 1 serán aquellas direcciones consideradas externas. La configuración más frecuente es

   11111111.11111111.11111111.00000000

   Lo cual indica que todas las direcciones que tienen los 3 primeros octetos iguales a la dirección de nuestro computador (en nuestro caso, 192.168.1) y que su último octeto vayan de 1 a 255 son parte de nuestra red. En decimal, los 4 bytes se escribirían 255.255.255.0, el cual va a ser el número de nuestro netmask.

4. Gateway: el gateway o puerta de salida es la dirección que se encargará de manejar las conexiones fuera de nuestra red local. En nuestro caso, todas aquellas que no están dentro de 192.168.1.1 - 192.168.1.255. Como el router hará de Gateway, le daremos a este valor el número 192.168.1.1

Comandos para definir la configuración de red: ifconfig, route

Ok, tenemos todos los datos para configurar nuestro bichito. El IP, broadcast y netmask se especifican a través de la instrucción ifconfig, en tanto que el gateway se especifica usando la instrucción route.
Dentro de linux, el acceso a las redes lo realizamos a través de las llamadas interfaces de red. Una tarjeta de red, por ejemplo, es una interfaz. Por lo general, la interface de la primera (y generalmente única) tarjeta de red es eth0. Probemos haciendo

ifconfig eth0

Si obtienen una respuesta de error, estamos en problemas :S .... Consulten a su linuxero más cercano.
Digamos que les da una respuesta razonable, como

eth0      Link encap:Ethernet  HWaddr 00:05:5D:35:6A:3C
          inet addr:192.168.1.3  Bcast:192.168.1.255  Mask:255.255.255.0
          UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1
          RX packets:310 errors:0 dropped:0 overruns:0 frame:0
          TX packets:368 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:1000
          RX bytes:21938 (21.4 Kb)  TX bytes:47441 (46.3 Kb)
          Interrupt:5 Base address:0xd000

Para configurar la interface eth0, utilizaremos la nomenclatura

ifconfig eth0 $IP broadcast $BROADCAST netmask $NETMASK up

que como se ve, es bastante obvia. La última opción 'up', nos dice que el sistema debe 'levantar' la interfaz con esas especificaciones. Lo contrario, o sea, eliminar una interfaz, se hace con 'down'
Para nuestra configuración tenemos, entonces

ifconfig eth0 192.168.1.3 broadcast 192.168.1.255 netmask 255.255.255.0 up

Nice. Ahora es tiempo de configurar la puerta de salida (gateway). Esta puerta de salida debe manejar todo aquello que no esté considerado dentro de la red local. Pero, ¿quién maneja la red local? Para ver los ruteos, o sea, la forma en que se manejan las distintas direcciones, usamos route a secas. En mi compu me da:

Kernel IP routing table
Destination     Gateway         Genmask         Flags Metric Ref    Use Iface
192.168.1.0     *               255.255.255.0   U     0      0        0 eth0
loopback        localhost       255.0.0.0       UG    0      0        0 lo

Je. No sé si será automático, pero si observan, todas las direcciones de mi subred están ya configuradas. El destino 192.168.1.0 más la máscara 255.255.255.0 me indica eso.
Configuremos ahora el gateway por defecto. Para ello, utilizaremos:

route add default gw $GATEWAY

La opción 'default' indica que la dirección que indiquemos manejará todos las peticiones que no sean consideradas por las otras reglas. 'gw' me indica que la dirección es una puerta de salida. Así que en mi configuración tendré que hacer

route add default gw 192.168.1.1

Recordemos que esa dirección es la del módem o router.

Configuración de servidores DNS

Falta sólo un detalle. Debemos decirle a Linux cuales son los servidores DNS de mi servicio. Esto es, que servidores guardan los nombres de los dominios para las direcciones IP en internet. Para ello, configuramos el archivo /etc/resolv.conf con vim (para otro post quedará una explicación de que es eso) y utilizamos la nomenclatura

nameserver $NAMESERVER1
nameserver $NAMESERVER2

Donde agregamos todas las direcciones de servidores DNS que sean necesarias. Generalmente son dos.

Verificando que todo este bien

Eso sería todo. Haciendo un ping a www.google.cl con

ping www.google.cl

obtengo:

PING www.google.akadns.net (64.233.167.99) 56(84) bytes of data.
64 bytes from 64.233.167.99: icmp_seq=1 ttl=238 time=217 ms
64 bytes from 64.233.167.99: icmp_seq=2 ttl=239 time=217 ms
64 bytes from 64.233.167.99: icmp_seq=3 ttl=238 time=218 ms
64 bytes from 64.233.167.99: icmp_seq=4 ttl=238 time=217 ms

--- www.google.akadns.net ping statistics ---
4 packets transmitted, 4 received, 0% packet loss, time 3035ms
rtt min/avg/max/mdev = 217.726/217.865/218.047/0.583 ms

Lo cual está bastante bien :)
Espero que les haya servido. Nos vemos.