Cet article est seulement la présentation d’un de mes projets qui avance assez rapidement : un Front End de WordPress écrit en Python à utiliser via Google AppEngine.

Le but est de faire un tout petit peu plus que le système de CDN/Cache par Cirrux (que j’utilise et ai présenté dans l’un de mes autres articles). Avec notamment pas mal de fonctionnalités propre aux blogs dont :

• Stockage des médias en blob dans la base de données
• Importation XML des données (articles, commentaires, catégories, tags) depuis un export WordPress
• Importation direct des données par requête XML-RPC
• Mise à jour dans les deux sens (blog <-> frontend) via XML-RPC (synchro des commentaires, …)
• Système de cache médias et html
• Utilisation de templates spécifiques

Bien sûr, tout n’est pas encore utilisable, mais pas mal de choses ont déjà été implémentées, et certaine le seront prochainement.

L’intérêt du système :

1. Garder un site toujours online (google plante rarement)
2. Profiter des systèmes de CDN fournit par Google pour son blog (d’autant plus que la rapidité de chargement des pages est désormais à prendre en compte en SEO)
3. Sécurité renforcée, puisque c’est Google qui sera en première ligne, le front-end s’occupant au pire de faire proxy entre le client et le serveur
4. Montée en charge plus rare (voir inexistante) puisqu’une fois l’ensemble synchronisé, on pourrait même éteindre le serveur et laisser le frontend distribuer le cache et stocker les coms en vu d’une synchro
5. Niveau templates, il n’y a que 3 fichiers à modifier

Les désavantages :

• Google … toujours Google (mais bon )
• Utilisation de templates spécifique, il faudra donc se créer soi-même sa template (ça ma pris 30 minutes pour ma template actuelle donc …)
• Système d’import lourd, Google risque de ne pas aimer (pas mal de limitation niveau requêtes/CPU)
• Les plugins du blog seront ignorés (coloration syntaxique, twitter, …)
• Toujours pas la possibilité d’utiliser pleinement les Appengines comme plateforme de blog (autant utiliser blogger )
• Faut garder un serveur online (à mi-temps au moins pour la publication des articles et les mises à jour).
• Inutilisable par des blogs intensément commenté (puisque ça supprimerait l’utilisation du cache et augmenterait de façon importante le nombre de requêtes effectuées)

Le projet est sur Github : wpfe-gae. Comme dit, c’est encore en phase de développement intensif, et je ne suis pas sûr des méthodes employées. (une version d’exemple pas encore synchro à voir sur ‘blog-fe.gaetan-grigis.eu’ pas de lien pour éviter le référencement du truc).

Fonctionnement
Côté fonctionnement, c’est assez simple : pour charger le contenu on peut uploader un fichier XML de sauvegarde du blog, ou synchroniser par XML-RPC (depuis les version 2.6, WordPress autorise les requêtes XML-RPC et supporte les API de Blogger et Movable Type).

Pour les commentaires (partie encore à développée), le système devrait proposer un système assez sympa :
Lorsque l’on poste un commentaire, une requête XML-RPC serait envoyée au véritable blog pour stocker le commentaire, et le front-end le stockerait aussi. Dans le cas où le serveur du blog ne répond pas, le front-end mettrais le commentaire en queue pour une mise à jour future.

Sinon, rien ne change niveau affichage des liens/urls, les urls fournit par WordPress serait réutilisées.

Une autre idée aurait été d’utiliser le système de cache fournit par Cirrux, et de développer le Webservice s’occupant des commentaires, permettant ainsi de ne pas avoir à recoder son template pour être supporté par Django, et ainsi changer directement les templates depuis son blog, et garder l’ensemble des avantages de WordPress (plugins, …).

Donc voilà, sous réserve que je ne change pas d’avis et que je ne développe le webservice sur Cirrux, ce blog sera donc hébergé chez Google . Mais bon ça prendra du temps.

Articles similaires :

• Créer son propre service de mail jetable avec appengine
• Mise en place d’un CDN via Google App Engine
• Marre du spam sur wordpress ??
• Système d’alerte via SMS sur vos serveurs grace à google calendar.
• Sécuriser un blog WordPress par un IPS avec wpsyslog2 et ossec

!!!!!!!!!!!!!!PETIT RAPPEL, EN CAS DE BRIQUAGE DE VOTRE TELEPHONE, VOUS ETES SEUL RESPONSABLE!!!!!!!!
rapide article pour compiler sa propre version de cyanogen et de créer un paquet à flasher directement sur son téléphone … concernant les dépendances (fichiers à installer, …) :
Pour toutes les architectures :

Pour les 64 bits :

Et après, on commence les réjouissances :

Comptez environ 1 heures entre le début de l’execution des commandes et l’arrivée à la dernière commande.

Une fois terminé, dans le dossier « out/target/product/dream_sapphire » vous trouverez votre paquet nommé : « cyanogen_dream_sapphire-ota-eng.VOTRENOM.zip »
à mettre sur votre SDCARD et à flasher par les rites habituels (fastboot/recovery/adb, …).

Attention, il se peut qu’elle ne fonctionne pas, donc gardez toujours sous le coude une version fonctionnelle .

Sinon, vous pouvez toujours vous rabattre sur les versions nightly, qui peuvent être fonctionnelle (mais ça c’est pas sûr non plus).

Articles similaires :

• Compiler android sur ubuntu 9.10
• Installer un donuts sur son G1 (CyanogenMod)
• Mes Applications/Scripts
• Mon Application Android pour les horaires de la CTS
• Créer un paquet pour les ppa

ça fait un certain temps déjà que j’essai de voir pour utiliser différents systèmes de cache de contenu pour alléger la charge de mon dédié (un RPS), après avoir testé plusieurs systèmes, j’ai opté pour le système de CDN CirruxCache, qui utilise le Google App Engine (et oui google est partout), le gros avantage du système c’est que c’est fournit par les serveurs de GG (donc super rapide et tout et tout) et écrit en python, ce qui m’a permis de faire une petite modif sympa pour spécifier un TTL spécifique sur le type de fichier.

La mise en place est très simple, on crée son compte sur appengine.google.com, on crée son appli, qui nous retourne un identifiant.
Une fois que l’on a un identifiant on modifie le fichier app.yaml et on modifie la ligne commençant par application par :

Il faut encore modifier le fichier app.py pour spécifier notre Url :

Pour ma part, comme les images ne changent pas beaucoup, j’ai voulu spécifier un TTL différent pour certain types de fichiers, pour ce faire, il faut modifier le fichier lib/cache.py et mettre tout en haut de la fonction getMaxAge (à la fin du fichier) :

Ce qui permettra d’avoir un TTL d’un mois pour les images!!

Ensuite il suffit d’uploader l’application via l’utilitaire de Google AppEngine :

Dans le cas d’un blog wordpress, deux choses peuvent être utile :
une règle htaccess pour forcer le téléchargement des images sur le CDN (remplacer cdn-blog-loupzeur.appspot.com par votre url de CDN) :

Ne pas oublier le RewriteCond, sinon ça boucle et ça retourne une erreur 500

Et la deuxième chose très importante, l’installation du plugins OSSDL CDN off-linker, qui va permettre de remplacer directement les urls des images/css/js du site par l’url du CDN.

Et comme ça, 90% des requêtes passeront par votre CDN, et les visiteurs ne téléchargeront que la page html.

Bien entendu, comme c’est un système de cache qui fonctionne aussi pour les pages web, il faut penser à rajouter un fichier robots.txt en disallow: / pour éviter le Duplicate Content du CDN (si vous n’utilisez pas le CDN en reverse).

Articles similaires :

• Créer son propre service de mail jetable avec appengine
• Mes Applications/Scripts
• Mettre en place un serveur TOR … qu’est-ce que ça bouffe ??
• Edyuk version 1.1.0 released
• Les liens du WE

ATTENTION, le tethering (partage de la connexion n’est peut être pas autorisé par votre fournisseur d’accès …)

Une petite astuce pour profiter du tethering du wifi ou de la 3G sur les dernières version du cyanogenmod 5.x, pour ce faire, il suffit d’aller sur le menu Paramètre, puis « Sans fil et réseaux », puis « internet tethering » :

Maintenant vous avez deux possibilités :

USB

Partager la connexion par USB, rien de plus simple, une fois la connectique USB branchée, sur Ubuntu, NetworkManager détecte automatiquement le téléphone comme modem et se connecte dessus :

Attention, tant que l’option « internet tethering » est actif, il vous sera impossible de transférer de fichiers sur votre téléphone depuis l’ordinateur et vice-versa.

Bluetooth

L’autre possibilité est de partager la connexion par Bluetooth … un peu plus compliqué, car ce n’est pas reconnu par défaut … Il vous faudra tout d’abord pairer votre téléphone via bluetooth (je vous laisse vous débrouillez pour ça).

Puis avec blueman (apt-get install blueman), clic droit puis « actualiser le service » (pour rafraichir la connexion), puis clic droit «  » : « Connect to : Point d’accès réseau » :

Il vous faudra ensuite ouvrir une console et vérifier la connexion par un ifconfig, si la connexion à fonctionnée, une interface bnep0 est apparu, il vous suffit de faire un :

sudo dhclient bnep0

et vous obtiendrez votre connexion à internet par bluetooth …

Débit

Niveau débit … il y a une net différence, en USB on peut monter à 500ko/s (en wifi bien sûr), ce qui donne un débit intéressant pour les jeux vidéos (fps et autre) avec un ping moyen de 80, en bluetooth, le débit monte à 80ko/s et j’ai pas osé de ping vu la lenteur de la connexion ^^.

L’intérêt du système

Profiter d’une connexion à internet en dehors de chez soi (pour la 3G), ou bien avoir une carte wifi d’appoint pour un fixe sans carte wifi.

Articles similaires :

• Controller sa carte wifi atheros sous ubuntu Lucid
• Une Wii HD pour moins de 100€ avec Dolphin sur Ubuntu
• Iodine et DNS Tunneling
• BT3 dans les bacs … les hackeurs vont se régaler
• Installer un donuts sur son G1 (CyanogenMod)

ça y est, le driver em2882 fonctionne à nouveau pour ubuntu 10.04 (et surement d’autres version de linux). L’installation change un peu, il vous faut le gestionnaire de revision hg, puis faire un clone du dépôt : http://linuxtv.org/hg/v4l-dvb, et compiler le driver :

Si la compilation plante pour firedtv, il vous faudra modifier le fichier « v4l/.config » dans le dossier v4l-dvb à la ligne 235 et remplacer :

par :

puis relancer le make et make install

Ensuite, il vous suffira de connecter la clé usb TNT, et un dmesg devrait retourner :

Puis utiliser votre logiciel préféré Me tv ou kaffeine, …. pour profiter de la TV.

Articles similaires :

• TNT em2882 et Mise a jour du kernel d’ubuntu …
• Clé TNT Cinergy XS (em2882) et Ibex
• Script de mise à jour du driver em2882
• Grésillement du driver em28xx et kernel 2.6.28 sur ubuntu 9.04
• Controller sa carte wifi atheros sous ubuntu Lucid

Aujourd’hui, encore du DNS Tunneling … et cette fois avec iodine, un soft écrit en C, beaucoup plus puissant que les autres scripts en perl comme dnstunnel et ozymandns que j’ai présenté sur mon blog, qui permet des connexions en parallèles, ce qui permet un chargement plus rapide des pages web, par contre, comme ça utilise le protocole DNS, le débit peut seulement aller jusqu’à 20-30 ko/s donc c’est assez limité.
Mais ça permet d’utiliser la plupart des bornes d’accès ouvert de type Neuf Wifi/FreeWifi qui force l’utilisation de leurs services pour utiliser la borne wifi sans avoir à fournir de couple login/pass valide ^^.

Comme pour les 2 autres systèmes de dns tunneling présenté, il vous faut un serveur extérieur avec un serveur DNS (cf la config présenté ici) et le logiciel iodine :

Sur le serveur donc (en utilisant la config DNS de l’autre lien) :

172.16.0.0 est la plage IP qui sera fournit par le soft (on peut prendre 10.x.x.x ou 192.168.x.x)
le -l est là pour spécifier l’ip sur laquelle écouter
le -u est là pour dropper les droits
-P est là pour spécifier un mot de passe (histoire d’empecher les autres de profiter de ce service)
tunnel.domaine.org, et le nom du sous domaine en NS qui sera utilisé.

Sur le client :

Et normalement on est connecté … le seul problème, c’est que le soft ne spécifie aucune route à part celle de son réseau, il faut donc les spécifier :

Ce qui supprime la route par défaut, force l’utilisation du gateway fournit par la borne pour l’accès au serveur DNS, puis route tout le traffic restant sur le gateway du tunnel …

Le gros problème est de faire cette manipulation à chaque connexion à un réseau wifi, j’ai donc fait un script pour automatiser ça en détectant le DNS et le Gateway fournit, puis en effectuant les remplacements et qui remet tout en place une fois que l’on termine la connexion :

Il suffit ensuite de le configurer avec vos options et de l’executer en root pour profiter des bornes wifi gratos … Bien sûr la seule utilitée de cette méthode est de se connecter rapidement au net au détriment du débit que l’on aurait après avoir cracké une borne wifi WEP/WPA …

Articles similaires :

• Mes Applications/Scripts
• DNS Tunneling par la pratique
• Tunnel SSH via le protocole DNS

Juste pour faire un autre article ce mois-ci ^^ … Je vais parler des routes IP, pour gérer par exemple plusieurs VPN ou plusieurs connexions à internet. Rien de compliqué bien sûr, juste un truc que j’oubli assez souvent et que j’utilise assez rarement …

Mon accès à internet ce fait généralement par des VPNs (mon dédié pour les trucs top secret, itsHidden, IPRED et co. pour les choses pas très orthodoxe), malheureusement, la latence est trop élevé pour pouvoir jouer à des FPS/MMORPG, il a donc fallut ajouter quelques règles de routages pour utiliser mon routeur comme gateway pour l’accès à mes jeux favoris …

Dans le cas le plus simple (celui que je vais présenter), on veut gérer une connexion à internet + une connexion VPN, deux solutions sont possible pour le routage :

1. Utiliser notre connexion à internet comme gateway et rediriger le traffic nécessitant le chiffrement par routage (sympa si l’on ne veut pas tout chiffrer)
2. Utiliser le VPN comme gateway et router le traffic nécessitant une latence plus faible (sympa si l’on veut tout chiffrer)

Je vais utiliser l’interface du Network Manager qui permet de sauvegarder nos routes pour chaque configurationVPN différentes, ce qui peut s’avérer utile si vous en avez plusieurs. Sinon, je présenterai rapidement les commandes routes pour ajouter une route pour un host ou un subnet (mais il faudra les ré-exécuter à chaque fois).

Le premier cas

Par défaut, si l’on utilise le NetworkManager pour la gestion des VPN, il remplace directement la route par défaut par celle du VPN(si il est configuré pour être un gateway), ce que nous ne voulons pas … on peut ignorer les routes fournit par le service de VPN en allant dans le menu « configuration de VPN » de NM, et suivre les séquences de clic ci-dessous ou l’on peut forcer à n’utiliser que le VPN pour les ressources de son réseaux en cliquant sur la checkBox en dessous du 3  :
Ce qui nous permettra de garder nos routes et l’ip fournit par notre FAI pour notre connexion à internet en général : ATTENTION, LE VPN NE SERA PAS UTILISé jusqu’à ce que vous ayez configuré vos routes …

Imaginons maintenant que nous voulons utiliser les services du VPN pour certaines IP en particulier genre pour notre test : utiliser l’ip du VPN pour se connecter à mon-ip.com (80.247.226.90), ajouter la route en ligne de commande ce fait comme suit :

On peut bien sûr utiliser une plage IP en remplaçant -host par -net et fournir un netmask assez large (selon la taille du réseau généralement).

Network Manager n’étant pas trop mal foutu, on peut gérer nos routes par l’interface que nous avons vu sur l’image ci-dessus, ce qui donne, pour le cas de mon-ip.com via 10.0.0.1 qui est l’ip de mon VPN :

Ou en cliquant sur supprimer dans l’interface ci-dessus …

Cas numéro deux

On vérifie que les deux checkbox soient décochés, et on remplace la passerelle par celle de notre réseau, chez moi 192.168.0.1. On valide, on se connecte au VPN (se déconnecter si on l’était déjà), et l’accès à mon-ip.com se fait par notre IP à nous, alors que si l’on accède à www.whatismyip.com, l’accès se fera pas notre VPN …

Cas pratique

Bien sûr les cas représentés ici étaient bidon et appliqués aux VPN, un cas pratique d’utilisation des routes sur une connexion « normale » peut être l’utilisation du réseau wifi du voisin pour dl comme un porc (utilisation de sa passerelle comme passerelle par défaut) et définir des règles de routages pour utiliser notre connexion à internet (par rj45 ou …) pour les FPS et les accès privés qui seront beaucoup plus rapide .

Articles similaires :

• Iodine et DNS Tunneling
• Utiliser Google App pour gérer son Domaine
• Synchroniser le calendrier Evolution et Google Agenda
• OnionCat Howto
• Gérer les accents en Ajax

Depuis la mise à jour d’ubuntu 10.04, le driver madwifi n’est plus disponible, seul le driver ath9k est proposé, il n’est donc plus possible d’utiliser la sympatique commande wlanconfig qui permettait de créer de nouvelles interfaces wifi dans différent modes.

Ce qui était super utile pour créer un fake ap utilisant 2 cartes wifi :

• une pour le fake AP
• une seconde connecté à un autre réseau wifi sur lequel on redirige le traffic

Le nouvel utilitaire de gestion des périphériques atheros se nomme iw (sûrement en référence à l’outil iwconfig …)

Un petit man vous permettra de trouver ceci :

Qui s’utilise de la façon suivante pour créer une interface nommée fake en mode monitor :

Un coup de iwconfig renverra si tout c’est bien passé :

Et la nouvelle interface est donc prête à l’emploi…, pour plus d’informations sur la commandes iw, la doc du site est est un peu plus détaillée.

Articles similaires :

• Wifi ou 3G tethering sur cyanogenmod via Bluetooth ou USB
• BT3 dans les bacs … les hackeurs vont se régaler
• Ubuntu beta …
• Iodine et DNS Tunneling
• Grésillement du driver em28xx et kernel 2.6.28 sur ubuntu 9.04

Aujourd’hui forensic , le but est de récupérer des données supprimées (via rm ou d’autres commandes ‘NON destructive’ de type shred). La version longue et en anglais de ce que je vais raconter là.

Pour ceux qui l’ignorait (comme moi), avec grep il est possible de forcer une recherche texte sur des données brutes (y compris des disques dur donc), ce qui peut permettre de récupérer des données après suppression … comme c’est une recherche texte, vous imaginé bien qu’il ne peut s’agir uniquement de fichier texte du style la configuration de votre serveur apache, la sauvegarde du dump sql de la semaine (repiqué de l’article fournit en lien ).

Donc n’imaginez pas récupérer des images avec ça (regarder plutôt du côté de foremost ou photorec).

Côté commande donc, il suffira de grep et de dd, installé par défaut sur toute bonne distrib unix.

Pour le grep, il suffit de rajouter le paramètre -a (ou –binary-files=text), le paramètre b pour afficher les bytes, puis de spécifier le fichier brut de données (image extraite par dd, ou un /dev/ directement).

Pour l’exemple, j’ai supprimé mon fichier xorg.conf (aaaarrrrggggghhh Nannn), connaissant la structure du fichier, et sachant qu’il se trouvait dans mon /dev/sda2, je peux lancer la commande suivante :

Dans le fichier xorgRecup
J’aurais une ligne de type (byte de l’emplacement:texte trouvé) :

1756337329:Section "Monitor"

Si je veux récupérer les lignes suivantes et précédentes, je peux jouer avec le paramètre -A m (after) et -B n (before) de grep, qui me renverront les m lignes après ou les n lignes avant ma recherche, mais comme j’ai déjà récupéré l’emplacement sur mon disque dur en bytes, je peux directement extraire mon fichier via dd (avec plus ou moins de précision … surtout moins en fait ^^).

Mais il faut tout d’abord savoir combien de bloc il faut skip lors de la récupération de notre fichier avec dd.

On divise donc le nombre de bytes trouvés par grep (chez moi 1756337329) par le nombre de bytes par block pour notre système de fichier, chez moi : 512. Ce qui donne pour mon exemple : 1756337329 / 512 = 3430346, puis il faut rajouter 63 (c’est le nombre de secteurs par tête, mais ça dépend aussi de l’emplacement de votre recherche, si il est en début ou en fin de cylindre, donc + ou – 63).

Mon dd ressemble à ceci :

et au final, j’ai un fichier assez crade de 500Ko, qui contient à quelques lignes près mon fichier xorg … Je suis sauvé!!!!

Certes, j’aurais pu reconfigurer mon xorg, mais là n’était pas la question …

Pour des fichiers textes, la récupération des données n’est pas aussi complexe que je le pensais …
Mais sur des SF de types ext3 et ext4, il faut procéder à la récupération des données extrêmement vite, car les octets libérés sont déclarés libre et risque d’être utilisé dès l’écriture d’un nouveau fichier, et dans ce cas, les données seront irrécupérable …

Articles similaires :

• Analyse automatisée des logs apache
• Vivre dangeureusement sur ubuntu ou pas (visudo)
• Automatiser la récupération et la compilation du kernel et de son patch GrSec
• Mes Applications/Scripts
• Attaque de sites et Script php C99Shell

Le but de l’article du jour est d’utiliser plusieurs certificats SSL sur une même machine via le SNI (ce qui était impossible il y a quelques années de cela cf. wikipedia, le premier patch étant sorti en 2004, les premières implémentation sur les serveurs apache se sont fait sur la version 2.2.12 en Juillet 2009).

Depuis peu donc, on peut s’amuser à installer plusieurs certificats SSL, mais ça nécessite un tout petit peu de configuration (vraiment un tout petit peu en fait).

Les outils nécessaire :

• Des certificats SSL (de préférences valide c’est gratos chez startSSL)
• Un serveur apache de version 2.2.12 ou supérieur
• La librairie openssl 0.9.8j ou supérieur

La configuration niveau apache (il faut bien entendu avoir activer le mod ssl), et copier les fichiers crt et key que vous on fournit vos fournisseurs de certificats sur le serveur dans un dossier accessible à apache (chez moi /etc/apache2/cert/).

il faut modifier la config « /etc/apache2/ports.conf » et faire en sorte que le ifmodule du mod_ssl ressemble à ça :

Généralement, le NameVirtualHost n’est pas mis dans la configuration par défaut, il faut donc le rajouter.

Puis enfin créer le fichier de configuration s’occupant de vos certificats et de les servir suivant le nom de domaine demandé (chez moi blog.gaetan-grigis.eu et un-autre-sous-domaine.gaetan-grigis.eu).

Et voilà, si vous avez utilisé StartSSL, vous avez accès à deux sous-domaines différents avec des certificats valide différent sur une seule et même machine … elle est pas belle la vie ?? (La vie d’un geek est passionnante en effet ).

PS : On peut bien sûr en créer autant qu’on veut, c’est pas limité à deux sous-domaines.

Articles similaires :

• Des certificats SSL gratuit et valide pour vos sites web
• Partage et ecriture de fichiers sur protocole HTTP
• La nouvelle année commence bien ^^
• Administration de serveurs apache : virtualhost
• Mon dépôt SVN de sources inutiles