Saturday, April 11, 2015

Enabling Opportunistic Encryption in Nginx

The week of March 31th Mozilla released Firefox 37 with support of Opportunistic Encryption (OE) - a mechanism which allows to encrypt traffic over HTTP connection with a self-signed certificate which bypasses validation.

Be adviced that this feature was disabled in Firefox 37.0.1 due to bug which allowed to bypass certificate validation over HTTPS connection (https://www.mozilla.org/en-US/security/advisories/mfsa2015-44/).

In order to enable OE you need to have HTTP/2 or SPDY enabled server and send Alt-Svc HTTP header on unencrypted HTTP-connection, e.g.: Alt-Svc: h2=":443 or Alt-Svc spdy/3.1=":443" if you use SPDY.

Below you can see example of Nginx configuration:

http {
    server {
        listen       80;
        server_name  example.com,*.example.com;
        add_header   Alt-Svc spdy/3.1=":443";
    }

    server {
        listen       443 ssl spdy;
        server_name  example.com,*.example.com;
    }
}

Friday, August 16, 2013

Installing Nginx on Mac OS X

In this guide I want to show how to install Nginx server on Mac OS X.

Prerequisites
  1. In order to be able to compile source code you will need Xcode with Command Line Tools installed. If you already have Xcode installed check if Command Line Tools installed: Xcode -> Preferences -> Download.
  2. Nginx requires PCRE (Perl Compatible Regular Expressions). We only need source code, because we'll be doing static compilation in this guide. The source can be downloaded here: ftp://ftp.csx.cam.ac.uk/pub/software/programming/pcre/
  3. Nginx sources can be downloaded here: http://nginx.org/en/download.html


Installation

Installation steps:
  1. Extract PCRE and Nginx archives in temp folder. You wil have 2 folders, e.g.: prce-8.33 and nginx-1.4.2
  2. Go to nginx-1.4.2 and run following commands:
    $ ./configure --prefix=/usr/local/nginx --with-http_ssl_module --with-pcre=../pcre-8.33
    $ make
    $ sudo make install
  3. After those commands Nginx will be installed into /usr/local/nginx
To start Nginx run the following command:

$ /usr/local/nginx/sbin/nginx

Now open your browser and goto http://localhost. If you see Nginx welcome page.

Detailed information about server configuration can be found here: http://nginx.org/

Wednesday, November 14, 2012

Перевод проекта с SVN на Git

Хочу поделиться своим опытом перевода существующего проекта с SVN на Git. В интернете достаточно много материала на эту тему, но, на мой взгляд там представлены достаточно кусочные решения, которые нужно собрать вместе и тогда все будет работать как надо.

Прежде всего, для работы нам понадобится Git, который можно скачать здесь, и SVN репозиторий, который будем мигрировать.

Сразу хочу отметить, что это ни в коем случае не документация по Git - я не волшебник, я только учусь :)

Миграция SVN-репозитория состоит из нескольких шагов: клонирование, создание ветвей, создание тэгов, очистка Git-репозитория от артефактов SVN, публикация локального репозитория в удаленный.

Для каждого из шагов я сделал отдельный скрипт, который позволяет выполнить все шаги по отдельности в ручном режиме.

Клонирование

Клонирование - самый длительные процесс. В зависимости от размера репозитория может занимать время от нескольких минут, до нескольких часов. Проект, миграцию которого я осуществлял, занимал приблизительно 300 МБ, в нем было около десятка ветвей и тэгов и процесс клонирования занимал 1.5 - 2 часа, на моем ноутбуке.

#!/bin/sh
DIR=${0%/`basename $0`}
REPOSITORY_URL=$1
REPOSITORY_PATH=$2
AUTHORS_FILE=$3

git init ${REPOSITORY_PATH}

cd ${REPOSITORY_PATH}
git config core.autocrlf false
cd ${DIR}

git svn clone ${REPOSITORY_URL} ${REPOSITORY_PATH} -A${AUTHORS_FILE} -bbranches -Ttrunk -ttags --no-metadata --prefix=svn/


Этот скрипт создает Git-репозиторий по пути ${REPOSITORY_PATH}, устанавливает свойство core.autocrlf (подробнее об этом ниже), запускает команду клонирования SVN-репозитория доступного по адресу ${REPOSITORY_URL} в Git-репозиторий ${REPOSITORY_PATH}.

Отдельное внимание надо уделить ключам -A, --prefix, --no-metadata, -b, -T,-t.

-A - путь к файлу со списком авторов - проще говоря мэппинг между пользователями SVN и Git. Все дело в том, что в Git пользователь идентифицируется по паре - имя пользователя - e-mail адрес пользователя:

user1=FirstName1 LastName1 <user1@email.com>
user2=FirstName2 LastName2 <user2@email.com>
user3=FirstName3 LastName3 <user3@email.com>

--prefix - указывает, что все содержимое из SVN-репозитория нужно положить в Git-репозиторий по пути с префиксом, указанном в этом ключе. Таким образом потом проще удалить ненужные вещи.

-b, -T и -t - указывают на положение веток, транка и тэгов в SVN. Это нужно для того, чтобы во время клонирования к имени добавился префикс branch, trunk и tag соответственно и проще было отличить одно от другого в Git-репозитории.

--no-metadata - удаляет информацию о номерах SVN-ревизий и возможно другие метаданные. Есть мнение что этого делать не нужно, особенно если есть документация, которая ссылается на номера SVN-ревизий (мнение здесь).

Чуть не забыл упомянуть про конфигурационный параметр core.autocrlf - этот параметр контролирует поведение Git по отношению к переводам строк для тестовых файлов. Если данны параметр установлен в значение false, то Git не будет делать никаких преобразований. Подробнее об этом советую почитать в документации.


Создаем ветви

Далее все достаточно скучно :) Ниже предствелен скрипт для создания ветвей в Git, на основе тех данных, которые получились в результате клонирования на предудыщем шаге.

#!/bin/sh

DIR=${0%/`basename $0`}
REPOSITORY_PATH=$1

cd ${REPOSITORY_PATH}

# create master branch out of trunk
git branch -D -r svn/trunk

# create rest branches
git for-each-ref --format="%(refname)" "refs/remotes/svn/*" | while read r; do 
  branch=${r#refs/remotes/svn/};
  echo "Migrating branch ${branch}";
  git checkout -b ${branch} remotes/svn/${branch}
  git branch -D -r svn/${branch} 
done

# switch working copy to master branch
git checkout master

cd ${DIR}

Создаем тэги

Все точно так же скучно, только кода больше:

#!/bin/sh

DIR=${0%/`basename $0`}
REPOSITORY_PATH=$1

cd ${REPOSITORY_PATH}

git for-each-ref --format='%(refname)' refs/remotes/svn/tags/* | while read r; do
  tag=${r#refs/remotes/svn/tags/}
  sha1=$(git rev-parse "$r")

  commiterName="$(git show -s --pretty='format:%an' "$r")"
  commiterEmail="$(git show -s --pretty='format:%ae' "$r")"
  commitDate="$(git show -s --pretty='format:%ad' "$r")"

  # Print the commit subject and body separated by a newline
  comment=`git show -s --pretty='format:%s%n%n%b' "$r"`
  echo "Comment: ${comment}"

  export GIT_COMMITTER_EMAIL="$commiterEmail"
  export GIT_COMMITTER_DATE="$commitDate" 
  export GIT_COMMITTER_NAME="$commiterName"

  git tag -f -a "$tag" "$sha1" -m "${comment}"
  flag=$?
  
  if [ "${flag}" == "0" ]; then
    echo "Tag: ${tag} sha1: ${sha1} using '${commiterName}', '${commiterEmail}' on '${commitDate}'"

    # Remove the svn/tags/* ref
    git update-ref -d "$r"
  fi
done

cd ${DIR}

Очистка Git-репозитория

На этом шаге удаляем все, что осталось от наследия SVN из нашего нового репозитория:

#!/bin/sh

DIR=${0%/`basename $0`}
REPOSITORY_PATH=$1

cd ${REPOSITORY_PATH}
git branch -rd git-svn
git config --remove-section svn-remote.svn
git config --remove-section svn
rm -rf .git/svn
rm -rf .git/refs/remotes/svn
cd ${DIR}

Публикация локального репозитория в удаленный

После того как мы получили готовый Git-репозиторий, можно приступить к его публикации на удаленном сервере, например BitBucket или GitHub.

#!/bin/sh

DIR=${0%/`basename $0`}
REPOSITORY_PATH=$1
REMOTE_ALIAS=$2
REMOTE_URL=$3

cd ${REPOSITORY_PATH}

# add alias for remote repository
git remote add ${REMOTE_ALIAS} ${REMOTE_URL}

# push all branches
git for-each-ref --format="%(refname)" "refs/heads/*" | while read r; do 
  branch=${r#refs/heads/};
  echo "Pushing branch ${branch}";
  git push -u ${REMOTE_ALIAS} heads/${branch}
done

# push all tags
git push --tags ${REMOTE_ALIAS}

${REMOTE_ALIAS} - псевдоним удаленного репозитория, чтобы каждый раз не писать длинный URL. Сохраняется в конфигурационном файле репозитория .git/config.

Friday, June 22, 2012

Полезные команды Java, которые должен знать каждый

Получение дампа-потоков если приложение выполняется в фоне, информация будет выведена в консоль:
Windows/*nix: jstack <pid>
*nix:         kill -3 <pid>
Получение дампа-потоков если приложение выполняется в консоли, информация будет выведена в STDOUT процесса:
Windows: Ctrl-Break
*nix:    Ctrl-\
Получение гистограммы использования памяти, информация будет выведена в консоль:
jmap -histo <pid>
Любые дополнения и исправления приветствуются :)

Tuesday, May 8, 2012

Делаем инсталлятор для Java-приложения из shell-скрипта

Знаете ли вы, что внутрь schell-скрипта можно записать бинарные данные? Я, до недавнего времени, об этом не знал и наткнулся на эту возможность, когда искал способы инсталляции Java-приложения на *nix-сервере.

Администраторы и гики поклоняющиеся *nix-системам наверняка подумают, что я несу чепуху, ведь уже давно изобретен велосипед - rpm. Спешу вас расстоить - рассматривал этот вариант и он, к сожалению, не способен решить всех моих задач.

А задачи следующие:
  • хочется иметь возможность собирать пакет на любой платформе: Windows, *nix
  • инсталлятору хочется передавать параметры: путь установки, энвайронмент и т.д.
  • для установки rpm требуется root-доступ, обычно такого не бывает
  • кроме всего этого надо вкурить в spec-файл (Creating the Spec file)

Исходя из этого инсталлятор на shell-скрипте намного проще и предоставляет большую гибкость:
  • это простостой файл, который содержит скрипт установки и приложение в виде, например, tar-архива
  • такой файл можно создать на любой платформе
  • можно передавать какие душе угодно параметры
  • заложить любую логику по установке (rpm это тоже позволяет, там внутри тоже shell-скрипт)
  • с программированием на shell знакомы, как правило, все Java разработчики :)
  • очень много информации по shell для решения любых проблем

Для создания инсталлятора нам потребуется:
  • исталлятор
  • архив приложения


#!/bin/bash

EXTRACT_PATH=$1

function extract()
{
PAYLOAD_START=$(grep --text --line-number '^==================== PAYLOAD START ====================$' $0 | cut -d ':' -f 1)
PAYLOAD_START=$((PAYLOAD_START + 1))

tail -n +$PAYLOAD_START $0 | tar -xvf - -C $1
}

extract ${EXTRACT_PATH}

exit 0
==================== PAYLOAD START ====================
Этот скрипт ищет положение разделителя (==================== PAYLOAD START ====================), считывает все, что находится после него, прогоняет через tar и все. В данной версии после разделителя обязательно должен быть символ новой строки, чтобы бинарные данные начинались со следующей строки.

Склеить инсталлятор и архив прилижения можно вот таким Ant-скритом:
<?xml version="1.0" encoding="UTF-8"?>
<project name="Create installer" default="installer" basedir=".">
  <property name="target" location="target"/>
  <property name="target.installer" location="${target}/installer"/>
  <property name="installer" location="<path to installer>"/>
  <property name="package" location="<path to package>"/> 

  <target name="installer">  
    <mkdir dir="${target}"/>  
    <mkdir dir="${target.installer}"/>  
    <copy file="${installer}" todir="${target.installer}" />  
    <fixcrlf eol="unix" srcdir="${target.installer}" includes="installer.sh"/>  
    <concat destfile="${target.installer}/package-installer.sh">       
      <filelist> 
        <file name="${target.installer}/installer.sh"/>   
        <file name="${package}"/>
      </filelist>
    </concat>
  </target>
</project>

Пример использования:
./package-installer.sh ./app

Thursday, April 26, 2012

Тестирование Java Mail API

В данной статье я хочу рассказать об одном очень простом способе тестировать код, который использует Java Mail API.

Трудности в тестировании такого кода следующие:

  1. отправка сообщения осуществляется при помощи статического метода javax.mail.Transport.send, и его сложно "замочить"
  2. для тестирование необходим почтовый сервер, через который будут отправляться сообщения
  3. нужно писать клиента, чтобы сравить то, чтобы было отправлено, с тем, что было получено
  4. если несколько разработчиков одновременно запустят тесты, то на сервер придут дубликаты, чтобы избежать конфликтов, надо усложнять тесты и генерировался какой-нибудь иникальный идентификатор и по нему уже искать сообщения


Можно, конечно, "замочить" javax.mail.Transport.send. Существует много мок-фреймворков, которые позволяют это сделать, но есть способ лучше и проще!

Дело в том, что разработчики Java Mail API предусмотрели возможность расширения путем регистрации своих провайдеров в файле META-INF/javamail.providers. Не буду вдаваться в технические подробности, так как я из не знаю :)

Благо есть на свете люди, которые уже подумали об этом и написали такой мок-провайдер: http://java.net/projects/mock-javamail. Чтобы его спользовать достаточно в classpath добавить mock-javamail.jar и все.

Данный провайдер работает как in-memory почтовый сервер. Это означает, что все отправленные сообщения сохраняются в почтовых ящиках, из которых их можно извлечь. С каждым уникальным почтовым адресом связан один почтовый ящик, который создается автоматически, при отправке сообщения.

Доступ к ящику осуществляется через класс Mailbox. Данный класс отвечает за хранение пришедших сообщений в обычной коллекции и позволяет добавлять/удалять сообщения, получать количество новых сообщений. Кроме того, данный класс имеет два статических фабричных метода, которые возвращают объект почтового ящика по переданному почтовому адресу (если ящика нет, он будет создан). Ниже показан пример вызова:
Mailbox mailbox = Mailbox.get("some@email.com");
Еще один статический метод, который, на мой взгляд, заслуживает внимания: Mailbox.clearAll(). Этот метод удаляет все почтовые ящики. Полезно вызывать перед началом теста, чтобы не мешались данные от предыдущих. Пример использования:
Mailbox.clearAll();
Ниже я приведу пример использования данного провайдера:
<project xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns="http://maven.apache.org/POM/4.0.0" xsi:schemalocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/maven-v4_0_0.xsd">
  <modelVersion>4.0.0</modelVersion>
  <groupId>ru.nikisoft.article</groupId>
  <artifactId>mock-javamail</artifactId>
  <version>1.0.0</version>
  <packaging>jar</packaging>
  <dependencies>
    <dependency>
      <groupId>org.jvnet.mock-javamail</groupId>
      <artifactId>mock-javamail</artifactId>
      <version>1.11</version>
    </dependency>
  </dependencies>
</project>
package ru.nikisoft.article.mockjavamail;

import static org.junit.Assert.assertEquals;
import static org.junit.Assert.fail;

import java.io.IOException;
import java.util.Arrays;
import java.util.HashSet;
import java.util.Set;

import javax.mail.Address;
import javax.mail.Message;
import javax.mail.Message.RecipientType;
import javax.mail.MessagingException;

import org.junit.Test;
import org.jvnet.mock_javamail.Mailbox;

public class MailSenderTest
{
  @Test
  public void testSend() throws MessagingException, IOException
  {
    Mailbox.clearAll();
    Mailbox mailbox = Mailbox.get("to@email.com");

    MailSender mailSender = new MailSender("smtp.host", "from@email.com");
    mailSender.send("to@email.com", "Subject: testSend", "Body: testSend");

    assertEquals(1, mailbox.getNewMessageCount());
    assertFromEquals(mailbox.get(0), "from@email.com");
    assertToEquals(mailbox.get(0), "to@email.com");
    assertSubjectEquals(mailbox.get(0), "Subject: testSend");
    assertBodyEquals(mailbox.get(0), "Body: testSend");
  }

  private void assertFromEquals(Message message, String... expectedFrom) throws MessagingException
  {
    Set<String> expectedFromSet = new HashSet<String>(Arrays.asList(expectedFrom));

    for (Address actualFrom: message.getFrom())
    {
      expectedFromSet.remove(actualFrom.toString());
    }

    if (expectedFromSet.size() > 0)
      fail("From should contain these addresses: " + expectedFromSet);
  }

  private void assertToEquals(Message message, String... expectedTo) throws MessagingException
  {
    Set<String> expectedToSet = new HashSet<String>(Arrays.asList(expectedTo));

    for (Address actualFrom: message.getRecipients(RecipientType.TO))
    {
      expectedToSet.remove(actualFrom.toString());
    }

    if (expectedToSet.size() > 0)
      fail("From should contain these addresses: " + expectedToSet);
  }

  private void assertSubjectEquals(Message message, String expectedSubject) throws MessagingException
  {
    String actualSubject = message.getSubject();
    assertEquals(expectedSubject, actualSubject);
  }

  private void assertBodyEquals(Message message, String expectedBody) throws IOException, MessagingException
  {
    String contentType = message.getContentType();

    if (contentType.contains("text/plain"))
    {
      String actualBody = (String) message.getContent();
      assertEquals(expectedBody, actualBody);
      return;
    }

    fail("Unsupported content-type: " + contentType);
  }
}
package ru.nikisoft.article.mockjavamail;

import java.util.Properties;

import javax.mail.Message.RecipientType;
import javax.mail.MessagingException;
import javax.mail.Session;
import javax.mail.Transport;
import javax.mail.internet.InternetAddress;
import javax.mail.internet.MimeMessage;

public class MailSender
{
  private Properties properties;

  public MailSender(String host, String from)
  {
    properties = new Properties();
    properties.put("mail.transport.protocol", "smtp");
    properties.put("mail.smtp.host", host);
    properties.put("mail.from", from);
  }

  public void send(String to, String subject, String body) throws MessagingException
  {
    Session session = Session.getDefaultInstance(properties);
    MimeMessage message = new MimeMessage(session);
    message.setFrom(InternetAddress.getLocalAddress(session));
    message.setRecipients(RecipientType.TO, to);
    message.setSubject(subject);
    message.setText(body);

    Transport.send(message);
  }
}

Monday, April 23, 2012

Сбор статистики использования классов при помощи Cobertura

На текущем проекте появилась необходимость получить список неиспользуемых классов с целью избавиться от них :)

Так как классов много и связи между ними не всегда можно отследить в IDE - сейчас редкий проект обходится без использования Spring, но мне, в очередной раз, повезло. У нас испольуется самописаное решение, которое пришлось немного доработать и научить делать dependency-injection, чтобы развязать классы между собой и начать по-тихоньку избавляться от синглтонов, которые только портят жизнь.

Для оценки покрытия кода тестами у нас используется Cobertura. Именно по этому я решил использовать именно ее для сбора статистики использования классов - мне для этого пришлось просто добавить сборку инструментированного jar-файла, который так же должен попадать в итоговую сборку.

Собственно сам сбор статистики заключается в том, чтобы инструментированные классы использовались приложением во время работы. Все в точности как и при оценке покрытия за тем лишь исключением, что мы гоняем не тесты, а реально работающее приложение на одном из тестовых стендов.

Ниже представлен пример Ant-скрипта, который инструментирует классы:
<?xml version="1.0" encoding="UTF-8"?>
<project name="UsageStatistics" basedir=".">
  <property name="src.main.java" location="${basedir}/src/main/java" />
  <property name="src.test.java" location="${basedir}/src/test/java" />
  <property name="lib" location="${basedir}/lib" />
  <property name="target" location="${basedir}/target" />
  <property name="target.compile" location="${target}/compile" />
  <property name="target.compile.classes" location="${target.compile}/classes" />
  <property name="target.instrument" location="${target}/instrument" />
  <property name="target.instrument.classes" location="${target.instrument}/classes" />
  <property name="target.instrument.report" location="${target.instrument}/report" />
  <property name="target.test" location="${target}/test" />
  <property name="target.test.classes" location="${target.test}/classes" />
  <property name="target.test.report" location="${target.test}/report" />
  <property name="target.package" location="${target}/package" />

  <target name="compile">
    <mkdir dir="${target.compile.classes}" />
    <javac srcdir="${src.main.java}" destdir="${target.compile.classes}" source="1.5" debug="on" debuglevel="lines,source">
      <classpath>
        <fileset dir="${lib}" includes="**/*.jar" />
      </classpath>
    </javac>
  </target>

  <target name="instrument" depends="compile">
    <mkdir dir="${target.instrument.classes}" />
    <copy todir="${target.instrument.classes}">
      <fileset dir="${target.compile.classes}" includes="**/*"/>
    </copy>

    <cobertura-instrument todir="${target.instrument.classes}" datafile="${target.instrument}/cobertura.ser">
      <fileset dir="${target.instrument.classes}" includes="**/*.class"/>
    </cobertura-instrument>

    <copy file="${target.cobertura}/cobertura.ser" tofile="${target.cobertura}/cobertura-clean.ser"/>
  </target>

  <target name="test-compile" depends="instrument">
    <mkdir dir="${target.test.classes}" />
    <javac srcdir="${src.test.java}" destdir="${target.test.classes}" source="1.5" debug="on" debuglevel="lines,source">
      <classpath>
        <fileset dir="${target.instrument.classes}" includes="**/*" />
        <fileset dir="${lib}" includes="**/*.jar" />
      </classpath>
    </javac>
  </target>

  <target name="test" description="Run tests" depends="compile-test" unless="test.skip">
    <mkdir dir="${target.test}" />
    <mkdir dir="${target.test.report}" />
    <junit printsummary="true" fork="yes" forkmode="once">
      <classpath>
        <pathelement location="${target.instrument.classes}"/>
        <pathelement location="${target.test.classes}"/>
        <fileset dir="${lib}" includes="**/*.jar" />
      </classpath>
      <sysproperty key="net.sourceforge.cobertura.datafile" file="${target.instrument}/cobertura.ser" />
      <batchtest todir="${target.test.report}">
        <fileset dir="${target.compile.test}">
          <include name="**/*Test.class"/>
        </fileset>
        <formatter type="xml"/>
      </batchtest>
    </junit>

    <cobertura-report datafile="${target.instrument}/cobertura.ser" format="html" destdir="${target.instrument.report}" srcdir="${src.main.java}" />
  </target>

  <target name="package" depends="test">
    <mkdir dir="${target.package}" />
    <jar jarfile="${target.package}/package.jar" basedir="${target.compile.classes}"/>
    <jar jarfile="${target.package}/package-instrumented.jar" basedir="${target.instrument.classes}"/>
  </target> 
</project>
Очень важное замечание: во время инструментации Cobertura генерирует файл, в который записывается информация о обо всех существеющих классах , его же и нужно использовать во время сбора статистики. В противном случае Cobertura создаст новый файл, в которои будет информация только о тех классах, которые использовались приложением и пользы от него будет 0. Поэтому не забывайте копировать этот файл на сервер, где будет работать ваше приложение.

Для того, чтобы Cobertura на сервере нашла этот файл приложению нужно каким-то образом передать путь к файлу. Есть несколько способов это сделать:
  • положить файл cobertura.properties в classpath приложения и в нем прописать net.sourceforge.cobertura.datafile=/путь/к/файлу
  • педедать параметр JVM -Dnet.sourceforge.cobertura.datafile=/путь/к/файлу

Если ваше приложение состоит из нескольких Java-процессов, они могут безопасно использовать один и тот же файл для сбора статистики.

Ниже приведены скриншоты отчетов статистики и покрытия для сравнения. Сейчас уже разница не такая большая, так как часть пакетов я уже удалил :)

Отчет статистики использования классов
Usage Statistics

Покрытие кода тестами Coverage Report

Сравнивая отчеты можно заметить, что package23 используется, хотя тестами не покрыт, package22 не используется, но при этом покрыт тестами, пакеты package16, package24, package25 - не используются.