Mit Python kann man sich ziemlich leicht eine Huffman-Kodierung ermitteln lassen. Eine Huffman-Kodierung ist eine präfixfreie Kodierung von Zeichen in Binärdarstellung mit variabler Länge. Dabei werden häufigere Buchstaben mit kürzeren Symbolen kodiert. Eine solche Kodierung wird üblicherweise für jeden Text neu ermittelt, da sie nur für den jeweiligen Text optimal ist. Würde man sie aber z.B. über die gesamte deutsche Sprache kalibrieren, hätte das e eine sehr kurze Binärkodierung.

Vor einiger Zeit hatte ich geschrieben, wie man Freundschaftsketten in sozialen Netzen mit einer üblichen relationalen Datenbank abbilden und ermitteln kann.

Propel ships with a sluggable behavior taking care of creating urls from your titles and stuff. To create these urls, it uses iconv.

Mit Zend_Locale::getTranslationList('Language') kann man sich im Zend-Framework eine Liste aller bekannten Sprachen erstellen lassen. Will man diese auch gleich noch in eine Datenbank eintragen, kann man sich mit meinem kleinen Script einen SQL-Query zusammenbauen. Das Script geht alle Sprachen durch und prüft, ob eine bekannte Übersetzung in der Muttersprache vorliegt, ansonsten wählt es den englischen Namen.

Vor 8 Monaten habe ich über verschiedene Algorithmen zur Bestimmung von Ähnlichkeiten geschrieben. Den euklidischen Abstand habe ich kürzlich in Haskell implementiert.