def main()

in src/main/scala/com/twitter/penguin/korean/qa/KoreanProcessorSandbox.scala [27:43]


  def main(args: Array[String]) {
    val s = "새로운 스테밍을 추가했었다. 트위터 주식 25% 상승. 주식 400원. 400원. $TWTR $200 20% 상승"

    val tokens = tokenize(s)

    println(
      tokens.mkString(" ")
    )

    println(
      stem(tokens).mkString(" ")
    )

    println(
      extractPhrases(tokens)
    )
  }