[SysARmy] Escucho opiniones

Diego Woitasen diego en woitasen.com.ar
Sab Mayo 25 11:10:20 ART 2013


2013/5/25 Juan Manuel Santos <vicariousdm en gmail.com>:
> On Saturday, May 25, 2013 01:33:23 Alejandro wrote:
>
>> Estimados,
>
>>
>
>> Es mi primer mail a la lista, les queria contar un proyecto en el que
>> estoy
>
>> trabajando y que me digan que piensan.
>
>>
>
>> Tengo un cliente de un sitio de videos grande, la infraestructura cuanta
>
>> con mas +80 servers físicos.
>
>>
>
>> 71 server son de Storage de videos 2TB y 4TB cada uno, para hacer un total
>
>> de mas de 160TB de videos.
>
>>
>
>> La capa de delivery esta compuesta por 5 Servers de Streaming, que hasta
>> el
>
>> momento toman el contenido desde los Storages servers via CIFS (SAMBA) y
>
>> aqui el problema, y porque me estoy subiendo al proyecto yo...
>
>>
>
>> Samba no es muy performante en este escenario, mas para video... en mi
>> caso
>
>> estoy pasando todo a HTTP, con Nginx en todos los nodos de Storage y los
>
>> Streaming Servers acceden al contenido via HTTP, realizan un cache local
>> en
>
>> disco, y sirven el contenido al usuario.
>
>>
>
>> Ahora mi consulta y donde me gustaria escuchar sus opiniones y
>
>> experiencias...
>
>>
>
>> Con 71 nodos, usar NFS tiene muchas contras, mas que nada con el tema que
>
>> si perdes uno te quedan los procesos en I/O waiting y con esta cantidad
>> eso
>
>> es muy probable, Samba no tiene ese problema, pero apesta en
>> performance...
>
>>
>
>> HTTP? les parece una opción adecuada? pensemos que Amazon S3 trabaja de
>
>> esta forma, y es un Storage por excelencia, inclusive S3FS o muchas cosas
>
>> locas implementadas sobre este...
>
>>
>
>> Pero que otras opciones tenemos? no tengo storage centralizado, no tengo
>
>> SAN, no tengo NAS, ahora el cliente tiene 71 server con Debian y discos
>
>> internos entre 2TB y 4TB con eso tenemos que trabajar.
>
>>
>
>> Espero les parezca interesante el escenario :) para armar una buena
>> charla.
>
>>
>
>> Saludos,
>
>> Alejandro
>
>
>
> Con las limitaciones que tenés dudo que puedas hacer algo mejor que lo que
> tenés/tienen pensado (HTTP).
>
>
>
> Si tu problema de NFS es el tema del I/O waiting si un server se cae,
> podrías implementar alguna solución de cluster que tenga en cuenta el temita
> de los NFS locks. También podrías llegar a usar algo como gluster, aunque es
> de mi conocimiento que, como todo FS distribuido, talento xD. De cualquier
> manera gluster te soluciona el problema de que uno de los nodos se muera y
> el cliente (streaming server) se quede pelotudo (siempre y cuando esté
> montado usando glusterfs-client).
>
>
>
> Saludos
>
> --
>
> Juan Manuel Santos <vicariousdm en gmail.com>
>
> Pubkey: www.vicarious.com.ar/~godlike/godlike64.at.gmail.dot.com.asc
>
>
> _______________________________________________
> SysARmy mailing list
> SysARmy en listas.usla.org.ar
> http://listas.usla.org.ar/cgi-bin/mailman/listinfo/sysarmy

Leiste algo de Ceph, puede andar para lo que vos querés y tiene una
interface tiene Amazon S3 para acceso a los datos. Me parece que para
la infraestructura que tenés es lo ideal. Yo lo voy a empezar a probar
en breve.

saludos!

--
Diego Woitasen


More information about the SysARmy mailing list